参考视频

 通俗易懂-大模型的关键技术之一：旋转位置编码rope （2）_哔哩哔哩_bilibili

1. 从内积的角度证明

证明目标：在xm和xn成立的情况下（表达式1和2成立），表达式3成立

首先，表达式1和2中的两部分，一部分用欧拉公式可以变形，一部分是表示成虚数形式的二维向量，化简后可以写成向量形式

然后，将表达式1和2内积，化简得到3

图中有个错误，如下图

2. 从公式的角度证明

RoPE给出的公式是g函数，入参是xm',xn',m-n，化简后得到3式结果

3. 从旋转矩阵的角度证明

旋转矩阵的性质：

在矩阵群（特别是旋转群）中，乘法对应着角度的叠加，而逆矩阵对应着角度的反向（取负），即撤销旋转。

拓展到多维

三维及以上的情况（注意向量维度必须为偶数）

将高维向量拆分成多个二维平面，在每个平面上独立地进行“旋转”来编码位置信息。