大模型、agent中Messages API 无状态、Context Management、tokens缓存命中三者之间的关系
·
1.Messages API 无状态:
无状态值得是:服务器端不保留agent 与 大模型之间交互的会话信息。
大部分大模型都是无状态的。
agent 的N请求数据: [system] [msg1] [msg2] ... [msgN] ← 必须携带完整历史
agent 的N+1请求数据: [system] [msg1] [msg2] ... [msgN] [msgN+1] ← 再次携带完整历史
2.Context Management:
由于大模型端(服务器端)不主动保留上下文,就是需要agent自己处理上下文相关的问题。
例如,哪些数据可以保存,哪些数据进行压缩,哪些数据可以丢弃。
Context Management的本质是因为大模型的输入限制(上下文窗口)。
Context Management做的好,也可以使模型的注意力更集中。
3.tokens缓存命中:
缓存命中指的是,大模型端通过算法来确定agent 的当前发送数据 与 上一条发送数据之间的相似度,若是大于某一阈值,就认为是缓存命中,可以少收钱。
4.三者之间的关系:
由于Messages API是无状态的,所以需要agent进行Context Management;Context Management决定了每次发送的Messages,这个Messages的质量直接决定了tokens缓存命中率。
更多推荐




所有评论(0)