简单例子:形象理解 矩阵对向量求导

我们用一个非常简单的例子,直观理解 矩阵对向量求导 的含义。


一、设定一个简单的表达式

假设我们有一个线性变换:

y=Ax \mathbf{y} = A \mathbf{x} y=Ax

  • y∈R2\mathbf{y} \in \mathbb{R}^2yR2,即输出是 2 维向量。
  • A∈R2×2A \in \mathbb{R}^{2 \times 2}AR2×2,是一个 2×2 的矩阵。
  • x∈R2\mathbf{x} \in \mathbb{R}^2xR2,输入是 2 维向量。

具体展开:
y=[y1y2]=[a11a12a21a22][x1x2] \mathbf{y} = \begin{bmatrix} y_1 \\ y_2 \end{bmatrix} = \begin{bmatrix} a_{11} & a_{12} \\ a_{21} & a_{22} \end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \end{bmatrix} y=[y1y2]=[a11a21a12a22][x1x2]

展开为:
{y1=a11x1+a12x2y2=a21x1+a22x2 \begin{cases} y_1 = a_{11}x_1 + a_{12}x_2 \\ y_2 = a_{21}x_1 + a_{22}x_2 \end{cases} {y1=a11x1+a12x2y2=a21x1+a22x2


二、我们关心的是:矩阵 A 对向量 x 的求导

我们要计算:

∂y∂x \frac{\partial \mathbf{y}}{\partial \mathbf{x}} xy

根据定义,这是一个 雅可比矩阵

∂y∂x=[∂y1∂x1∂y1∂x2∂y2∂x1∂y2∂x2] \frac{\partial \mathbf{y}}{\partial \mathbf{x}} = \begin{bmatrix} \frac{\partial y_1}{\partial x_1} & \frac{\partial y_1}{\partial x_2} \\ \frac{\partial y_2}{\partial x_1} & \frac{\partial y_2}{\partial x_2} \end{bmatrix} xy=[x1y1x1y2x2y1x2y2]

逐项计算:

  • ∂y1∂x1=a11\frac{\partial y_1}{\partial x_1} = a_{11}x1y1=a11
  • ∂y1∂x2=a12\frac{\partial y_1}{\partial x_2} = a_{12}x2y1=a12
  • ∂y2∂x1=a21\frac{\partial y_2}{\partial x_1} = a_{21}x1y2=a21
  • ∂y2∂x2=a22\frac{\partial y_2}{\partial x_2} = a_{22}x2y2=a22

所以:
∂y∂x=[a11a12a21a22]=A \frac{\partial \mathbf{y}}{\partial \mathbf{x}} = \begin{bmatrix} a_{11} & a_{12} \\ a_{21} & a_{22} \end{bmatrix} = A xy=[a11a21a12a22]=A


三、直观理解:

  1. 每个 x 的变化,都会通过 A 传递到 y 上。
  2. x1x_1x1 增加一点,对 y1y_1y1 的影响是 a11a_{11}a11;对 y2y_2y2 的影响是 a21a_{21}a21
  3. x2x_2x2 增加一点,对 y1y_1y1 的影响是 a12a_{12}a12;对 y2y_2y2 的影响是 a22a_{22}a22
  4. 每个 元素的偏导数 就是 A 矩阵中相应的系数

最终的求导结果,就是 A 本身!


四、最简单总结

y=Ax \mathbf{y} = A \mathbf{x} y=Ax

∂y∂x=A \frac{\partial \mathbf{y}}{\partial \mathbf{x}} = A xy=A

这个结果特别常见,也是很多线性代数相关计算的基础。


五、进一步形象化比喻:

你可以把这个过程想象成:

  • AAA 是一个“放大器”或者“混合器”,它把 x\mathbf{x}x 的每个分量放大或混合,得到 y\mathbf{y}y
  • 你想知道 x 的变化会如何影响 y,答案就是“这个放大器的参数 AAA”。
  • A 本身就已经告诉你 x 每变一点,y 会怎么变了!

这个简单例子能帮助你直观理解“矩阵对向量求导”吗?
如果你还想看非线性变换下的矩阵对向量求导,或者高阶矩阵运算,比如迹、二次型的求导,我可以继续展开讲!😊

Logo

汇聚全球AI编程工具,助力开发者即刻编程。

更多推荐