MAE损失梯度震荡完整示例

重点关注：求导公式，几乎只依赖x，误差e只有在大于0和小于0时会变成±1， 梯度大小恒定，不随误差缩小。

一、统一符号与基础公式

1. 变量定义

符号	含义
$x$	模型输入特征
$W$	网络权重
$\hat{y}$	模型预测值
$y$	真实标签
$e$	误差，$e=\hat{y}-y$
$L$	MAE损失，$L=
$\eta$	学习率

2. 核心公式

1. 线性预测（简化无偏置 $b=0$）：
   $$\hat{y}=W\cdot x$$
2. 链式梯度求导：
   $$\frac{dL}{dW}=\frac{dL}{de}\cdot \frac{de}{d\hat{y}}\cdot \frac{d\hat{y}}{dW}$$

• $\frac{de}{d\hat{y}}=1$
• $\frac{d\hat{y}}{dW}=x$
• $e>0$：$\frac{dL}{de}=1$；$e<0$：$\frac{dL}{de}=-1$

3. 权重更新规则：
   $$W_{new}=W_{old}-\eta \cdot \frac{dL}{dW}$$

---

二、案例1：输入$x=1$，学习率$\eta =0.1$（不会跨过零点）

固定已知参数

真实标签 $y=5$，初始权重 $W_{old}=5.2$

步骤1：计算初始预测值与初始误差

$$\begin{array}{rl}{\hat{y}}_{old}& =W_{old}\cdot x=5.2\times 1=5.2\\ e_{old}& ={\hat{y}}_{old}-y=5.2-5=0.2\end{array}$$
$e_{old}=0.2>0$

步骤2：计算梯度

$$\frac{dL}{dW}=1\times 1\times 1=1$$

步骤3：更新权重

$$W_{new}=W_{old}-\eta \cdot \frac{dL}{dW}=5.2-0.1\times 1=5.1$$

步骤4：计算更新后的预测值与新误差

$$\begin{array}{rl}{\hat{y}}_{new}& =W_{new}\cdot x=5.1\times 1=5.1\\ e_{new}& =5.1-5=0.1\end{array}$$
误差由 $0.2$ 缩小至 $0.1$，向0靠近，未跨零点。

再迭代一轮

$e=0.1>0$，梯度仍为1
$$W=5.1-0.1=5.0,e=5.0-5=0$$
刚好到达最优误差0。

---

三、案例2：输入$x=3$，学习率$\eta =0.1$（一步跨过零点，产生震荡）

固定已知参数

真实标签 $y=5$，初始权重 $W_{old}=1.7333$

步骤1：初始预测、初始误差

$$\begin{array}{rl}{\hat{y}}_{old}& =W_{old}\cdot x=1.7333\times 3=5.2\\ e_{old}& =5.2-5=0.2>0\end{array}$$

步骤2：计算梯度

$$\frac{dL}{dW}=1\times 1\times 3=3$$

步骤3：更新权重

$$W_{new}=W_{old}-\eta \cdot \frac{dL}{dW}=1.7333-0.1\times 3=1.4333$$

步骤4：计算新预测、新误差

$$\begin{array}{rl}{\hat{y}}_{new}& =1.4333\times 3=4.3\\ e_{new}& =4.3-5=-0.1\end{array}$$
现象：误差从正数 $0.2$ 直接变为负数 $-0.1$，跨过最优零点。

下一轮迭代（梯度符号反转，反向拉回）

当前 $e=-0.1<0$，$\frac{dL}{de}=-1$
$$\frac{dL}{dW}=-1\times 1\times 3=-3$$
$$W_{next}=1.4333-0.1\times (-3)=1.7333$$
权重回到初始值，误差变回 $0.2$，形成来回横跳、损失持续震荡。

---

核心总结

1. MAE梯度大小由输入特征 $x$ 固定，不会随误差变小自动缩小；
2. 输入特征数值较大时，单次更新修正幅度超过当前误差，会直接冲过误差=0的最优零点；
3. 跨过零点后梯度符号翻转，下一轮反向更新，误差在0两侧反复跳动，无法稳定精准拟合；
4. MSE无此问题：梯度随误差同步缩小，越靠近最优值更新步长越平缓，收敛稳定。