RoPE（Rotary Positional Encoding）完整数学表达式

一、基本形式（二维旋转）

对 embedding 向量 $\mathbf{x}\in {\mathbb{R}}^d$，把每两维分成一组：
$$(x_{2i},x_{2i+1})$$

对第 $\text{pos}$ 个位置：
$$\left[\begin{array}{c}{x}_{2i}^{\prime }\\ x_{2i+1}^{\prime }\end{array}\right]\left[\begin{array}{cc}\cos {\theta }_{i,\text{pos}}& -\sin {\theta }_{i,\text{pos}}\\ \sin {\theta }_{i,\text{pos}}& \cos {\theta }_{i,\text{pos}}\end{array}\right]\left[\begin{array}{c}{x}_{2i}\\ x_{2i+1}\end{array}\right]$$

二、角度定义（频率设计）

$${\theta }_{i,\text{pos}}=\text{pos}\cdot {\omega }_i$$

其中：
$${\omega }_i=\frac{1}{10000^{2i/d}}$$

因此：
$${\theta }_{i,\text{pos}}=\frac{\text{pos}}{10000^{2i/d}}$$

三、展开写法（工程常用）

$$\begin{array}{rl}{x}_{2i}^{\prime }& =x_{2i}\cos {\theta }_{i,\text{pos}}-x_{2i+1}\sin {\theta }_{i,\text{pos}}\\ x_{2i+1}^{\prime }& =x_{2i}\sin {\theta }_{i,\text{pos}}+x_{2i+1}\cos {\theta }_{i,\text{pos}}\end{array}$$

四、作用在 Q / K 上

RoPE 实际是作用在：
$$\begin{array}{rl}{Q}^{\prime }& =\text{RoPE}(Q,\text{pos})\\ K^{\prime }& =\text{RoPE}(K,\text{pos})\end{array}$$

Attention 计算：
$$\text{Attn}=Q^{\prime }(K^{\prime }{)}^T$$

五、核心性质

旋转满足：
$$⟨R_{{\theta }_i}q,R_{{\theta }_j}k⟩=⟨q,R_{{\theta }_j-{\theta }_i}k⟩$$

结论：attention 只依赖位置差 ${\text{pos}}_j-{\text{pos}}_i$。

六、复数形式（更本质）

把每两维写成复数：
$$z_i=x_{2i}+i{x}_{2i+1}$$

RoPE：
$$z_i^{\prime }=z_i\cdot e^{i{\theta }_{i,\text{pos}}}$$

Attention 内积：
$$z_i({\text{pos}}_i)\cdot \overline{z_j({\text{pos}}_j)}=z_i\overline{z_j}\cdot e^{i({\theta }_{i,{\text{pos}}_i}-{\theta }_{i,{\text{pos}}_j})}$$

七、向量整体写法

$$\text{RoPE}(x,\text{pos})=x\odot \cos ({\Theta }_{\text{pos}})+\text{rotate}(x)\odot \sin ({\Theta }_{\text{pos}})$$

其中 $\text{rotate}(x)$：把每对 $(x_{2i},x_{2i+1})$ 变成 $(-x_{2i+1},x_{2i})$。

八、工程实现（PyTorch）

def rope(x, sin, cos):
    x1 = x[..., ::2]
    x2 = x[..., 1::2]
    return torch.cat([
        x1 * cos - x2 * sin,
        x1 * sin + x2 * cos
    ], dim=-1)