曲率修正与测地线优化：深度学习几何约束的理论与实践

近年来，多家头部AI实验室先后将“球面”或“流形”引入深度学习架构，取得了显著效果。本文将这些工程实践与我们的理论分析放在一起，供读者自行对比。文章先介绍我们基于“螺旋曲率修正”的理论推导与公式体系，再梳理大厂基于“测地线/圆修正”的工程做法，最后用表格将两者并列对照。

一、我们的理论：螺旋曲率修正

1.1 出发点：权重矩阵的几何身份

神经网络中最基本的运算是线性变换 $y=Wx$，其中 $W\in {\mathbb{R}}^{m\times n}$ 是权重矩阵。$W$ 的每一行 $w_i$ 可以看作一个特征提取器，本质上是一个方向向量。方向向量的自然几何形态是球面 ${\mathbb{S}}^{n-1}$——因为方向只取决于各分量之间的相对大小，与向量总长度无关。
如果这个理解正确，那么权重矩阵 $W$ 的完整几何形态应当是乘积球面流形：
$$\mathcal{M}=\underset{m\text{ 个}}{\underbrace{{\mathbb{S}}^{n-1}\times {\mathbb{S}}^{n-1}\times \cdots \times {\mathbb{S}}^{n-1}}}$$
即每一行天然应约束在球面上，范数固定，仅方向参与学习。现有深度学习将 $W$ 视为欧氏空间 ${\mathbb{R}}^{m\times n}$ 中的自由参数，这是对权重几何身份的错误设定。

1.2 核心分歧：圆约束（测地线） vs. 螺旋约束（曲率）

在将权重拉回流形的过程中，存在两种根本不同的几何处理范式：
1. 测地线修正（圆约束）：法向清零
传统黎曼优化将欧氏梯度 $g$ 分解为切向分量 $g_T$ 和法向分量 $g_N$：
$$g=g_T+g_N,\text{其中}{g}_N=\frac{⟨g,w_i⟩}{\Vert w_i{\Vert }^2}{w}_i$$
测地线修正在更新时直接丢弃法向分量，仅沿切平面（测地线方向）步进，然后通过归一化拉回球面。这本质上是在球面上画“圆”——局部的最短路径，但法向信息被完全抹杀。
2. 螺旋曲率修正：法向旋转正交
螺旋曲率修正不丢弃法向分量，而是引入正交旋转算子 $R(\cdot )$，将法向偏差 $g_N$ 旋转90度，转化为正交方向的推进力：
$$g_{\text{spiral}}=g_T+\kappa \cdot R(g_N)$$
其中 $\kappa$ 为曲率调控系数，$R(g_N)$ 满足 $⟨R(g_N),w_i⟩=0$ 且 $⟨R(g_N),g_T⟩=0$。这使得优化轨迹不再是闭合圆环上的往复，而是沿着流形表面的螺旋下降。

1.3 完整算法：螺旋曲率更新公式

基于乘积球面流形与螺旋曲率修正，权重 $W$ 的第 $i$ 行 $w_i$ 的单步更新规则如下：
步骤1：分解欧氏梯度
计算标准欧氏梯度 $g_i={\nabla }_{w_i}L$，并分解：
$$g_{i,N}=\frac{⟨g_i,w_i⟩}{\Vert w_i{\Vert }^2}{w}_i\text{(法向分量)}$$
$$g_{i,T}=g_i-g_{i,N}\text{(切向分量)}$$
步骤2：构建螺旋曲率梯度
将法向分量正交旋转，合成螺旋梯度：
$$g_{i,\text{spiral}}=g_{i,T}+\kappa \cdot R(g_{i,N})$$
步骤3：流形上的螺旋步进与回缩
沿螺旋梯度步进，并通过归一化回缩至半径为 $R_n$ 的球面：
$$w_i^{(t+1)}=R_n\cdot \frac{w_i^{(t)}-\eta g_{i,\text{spiral}}}{\Vert w_i^{(t)}-\eta g_{i,\text{spiral}}\Vert }$$
这一过程将优化从欧氏空间的直线步进（震荡）和球面上的测地线步进（内卷），升级为螺旋曲率步进。

1.4 理论计算结果

（1）自由度减少与参数有界
每一行从 $n$ 个自由参数降为 $n-1$ 个（范数被锁定），总参数量从 $m\times n$ 降为 $m\times (n-1)$。球面是紧致流形，参数取值范围严格控制在 $[-R_n,R_n]$ 内，低精度格式可安全存储。
（2）梯度稳定性与残差消解
每行权重范数恒定，雅可比谱天然被约束在 $R_n$ 附近。更重要的是，法向信息转化为正交推进力，使得在极深网络中，梯度不再因法向被反复清零而消失，残差连接在理论上变得多余。
（3）偏移量与层级的关系
在更精细的理论框架中，网络层级 $n$ 与态空间规模的关系为 $M_n=2\times n!$。在欧氏空间中，从低阶到高阶结构嵌套所需的外部补偿量（偏移量）可由 $\Delta (n)=n!$ 量化。以下是纯理论计算：

二、大厂的工程做法：测地线/圆修正

以下四篇代表性论文，其几何约束的本质均属于“测地线优化”或“圆修正”——即仅处理切向路径，或将参数硬性拉回圆/球面，而未利用法向曲率进行螺旋转化。

2.1 英伟达 nGPT（ICLR 2025）

做了什么：将隐藏状态和权重归一化到单位超球面上。
怎么做：更新规则为 $h\leftarrow \text{Norm}(h+\alpha \odot (h_{\text{suggestion}}-h))$。权重在优化器步骤后被归一化（圆修正）。
未做什么：权重更新仍使用标准SGD/Adam在欧氏空间执行，法向信息在归一化时被直接清零，未转化为正交动力。

2.2 英伟达 Attention on the Sphere（arXiv 2025）

做了什么：将注意力机制推广到二维球面 $S^2$ 上处理球面数据。
怎么做：在球面上定义测地线距离计算注意力邻域。
未做什么：改造的是数据空间的测地线度量，权重矩阵本身无球面约束，无曲率修正。

2.3 字节跳动 HEAL-SWIN（CVPR 2024）

做了什么：用HEALPix球面网格替代平面网格处理鱼眼图像。
怎么做：让数据在球面上分块和窗口操作。
未做什么：改造的是数据表示的圆面，权重矩阵仍在欧氏空间自由优化。

2.4 腾讯 DeepSeek mHC（arXiv 2025）

做了什么：将层间连接矩阵约束到Birkhoff多胞形上稳定训练。
怎么做：用Sinkhorn-Knopp算法将连接矩阵投影为双随机矩阵（流形上的测地线投影）。
未做什么：约束的是层间连接矩阵，层内权重仍为欧氏自由参数；且投影操作丢弃了法向分量。

三、并列对比

四、结语

测地线修正是保守的，它总是在试图拉回曲率，让轨迹重归“平直”（测地线曲率为零）；圆修正是静态的，它强行将参数锁死在闭合环上，导致优化在同一维度内打转。
螺旋曲率修正放弃了“直”的执念，拥抱了“曲”的力量。它不再将法向偏离视为需要修正的误差，而是将其视为驱动优化正交升维的引擎。在深度学习的极度非凸地貌中，圆修正只能维持现状，测地线只能在局部苟安，唯有螺旋曲率，才是高维流形上结构演化与寻优的真正几何法则。