1.Messages API 无状态:

无状态值得是:服务器端不保留agent 与 大模型之间交互的会话信息。

大部分大模型都是无状态的。

agent 的N请求数据:     [system] [msg1] [msg2] ... [msgN]    ← 必须携带完整历史
agent 的N+1请求数据: [system] [msg1] [msg2] ... [msgN] [msgN+1]  ← 再次携带完整历史

2.Context Management:

由于大模型端(服务器端)不主动保留上下文,就是需要agent自己处理上下文相关的问题。

例如,哪些数据可以保存,哪些数据进行压缩,哪些数据可以丢弃。

Context Management的本质是因为大模型的输入限制(上下文窗口)。

Context Management做的好,也可以使模型的注意力更集中。

3.tokens缓存命中:

缓存命中指的是,大模型端通过算法来确定agent 的当前发送数据 与 上一条发送数据之间的相似度,若是大于某一阈值,就认为是缓存命中,可以少收钱。

4.三者之间的关系:

由于Messages API是无状态的,所以需要agent进行Context Management;Context Management决定了每次发送的Messages,这个Messages的质量直接决定了tokens缓存命中率。

Logo

汇聚全球AI编程工具,助力开发者即刻编程。

更多推荐