Decoder-Only#

18 年，OpenAI 提出了 GPT-1 ：Improving Language Understanding by Generative Pre-Training，其核心内容就是现在的 Decoder-Only 架构，这是目前绝大多数通用大语言模型采用的基本架构。

有了之前的基础，Decoder-Only 的逻辑并不难理解：
研究人员发现，对于语言建模任务而言，并不一定需要单独的 Encoder。只要让模型根据已有文本不断预测下一个 Token，就能够学习语言规律。

因此现代大模型直接移除了 Encoder，同时删除了依赖 Encoder 输出的 Cross Attention，最终仅保留 Decoder 中的 Masked Self-Attention 与 FFN 结构：

可以看到原始的 GPT-1 基本逻辑仍然是在预训练的模型基础上，继续用特定数据训练，让模型适应某个任务或领域，也就是 Fine-tuning，而这种基础的任务能力现在已经可以靠 prompt 来激活了。
因此，了解 Decoder-Only 架构本身的相关逻辑即可，这里展开两个细节：

1.1 用户输入是如何作用的？#

既然没有 Encoder，一个自然的问题是：

用户输入由谁来理解？

答案是：

用户输入本身就是 Decoder 的输入序列。

我们直接举个例子，用户提问：

法国的首都是哪里？

这句话会直接被转换为 Token 序列：

法国 的 首都 是 哪里 ?

随后送入 Decoder。模型经过一次前向传播后，预测：

巴黎

此时序列变成：

法国的首都是哪里？巴黎

之后同理，继续生成直到生成结束标记：

法国的首都是哪里？巴黎。它位于……

这种根据已经出现的内容预测下一个 Token 的过程就是自回归生成（Autoregressive Generation）。

1.2 Attention 中的重复计算问题#

明白了 Decoder-Only 的生成逻辑后，现在我们来看一个推理时的问题：

第  步时，模型需要计算  个 token 之间的自注意力，然后预测第  个 token。然后第  步，输入变成  个 token，再算一遍注意力，预测第  个。

现在，假设模型已经生成到了第  个 token，第  步计算了 token  到  之间所有注意力。到了第  步，输入变成了 token  到 ，标准做法会把 token  到  的 K 和 V 重新计算一遍。

问题就出在这个"再算一遍"上：

在第  步和  步之间，token  到  的 K 和 V 变了吗？

答案是没有。
在参数固定的推理阶段，token  在第一步后就固定了。token  的内容同理在第  步生成后就已经固定了。它们的 K 和 V 不会因为一个新 token 的加入而改变。每次重新计算都是纯粹的浪费。

显然，这里存在相当大的优化空间，这便是 KV Cache 要解决的问题。

2. KV Cache#

2.1 KV Cache 的内容#

KV Cache 的思路很简单：

在第  步算完  和  后，把它们存起来。第  步只需要计算  和 ，然后把它们追加到缓存中。所有之前 token 的 K 和 V 直接从缓存读取。

就像这样：

步骤	计算内容	缓存
生成 token 1	算 ，存起来
生成 token 2	只算 ，追加到缓存
生成 token 3	只算 ，追加到缓存
…	每步只算一个	缓存逐步增长

于是，原本的每一步的注意力计算是这样：

现在加入 KV Cache 就变成了这样：

其中： ， 是缓存的历史。只有  是当前步需要计算的。

很显然，通过 KV Cache 我们消灭了计算 KV 投影时的无用功。在长文本生成时，其带来的性能差距是数量级的。

2.2 为什么 Q 不需要缓存?#

既然 K 和 V 都被缓存了，一个可能的问题是：

为什么不把 Q 也缓存起来复用？

区别在于它们的角色不同：
在自回归生成的每一步，当前 token 的 Q 作用是查询历史信息。 与所有历史 K 计算注意力分数，然后从所有历史 V 中聚合信息来预测下一个 token。

一旦这一步的预测完成， 的历史使命就结束了。