简单例子:形象理解 矩阵对向量求导

我们用一个非常简单的例子,直观理解 矩阵对向量求导 的含义。


一、设定一个简单的表达式

假设我们有一个线性变换:

y=Ax \mathbf{y} = A \mathbf{x} y=Ax

  • y∈R2\mathbf{y} \in \mathbb{R}^2y∈R2,即输出是 2 维向量。
  • A∈R2×2A \in \mathbb{R}^{2 \times 2}A∈R2×2,是一个 2×2 的矩阵。
  • x∈R2\mathbf{x} \in \mathbb{R}^2x∈R2,输入是 2 维向量。

具体展开:
y=[y1y2]=[a11a12a21a22][x1x2] \mathbf{y} = \begin{bmatrix} y_1 \\ y_2 \end{bmatrix} = \begin{bmatrix} a_{11} & a_{12} \\ a_{21} & a_{22} \end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \end{bmatrix} y=[y1​y2​​]=[a11​a21​​a12​a22​​][x1​x2​​]

展开为:
{y1=a11x1+a12x2y2=a21x1+a22x2 \begin{cases} y_1 = a_{11}x_1 + a_{12}x_2 \\ y_2 = a_{21}x_1 + a_{22}x_2 \end{cases} {y1​=a11​x1​+a12​x2​y2​=a21​x1​+a22​x2​​


二、我们关心的是:矩阵 A 对向量 x 的求导

我们要计算:

∂y∂x \frac{\partial \mathbf{y}}{\partial \mathbf{x}} ∂x∂y​

根据定义,这是一个 雅可比矩阵:

∂y∂x=[∂y1∂x1∂y1∂x2∂y2∂x1∂y2∂x2] \frac{\partial \mathbf{y}}{\partial \mathbf{x}} = \begin{bmatrix} \frac{\partial y_1}{\partial x_1} & \frac{\partial y_1}{\partial x_2} \\ \frac{\partial y_2}{\partial x_1} & \frac{\partial y_2}{\partial x_2} \end{bmatrix} ∂x∂y​=[∂x1​∂y1​​∂x1​∂y2​​​∂x2​∂y1​​∂x2​∂y2​​​]

逐项计算:

  • ∂y1∂x1=a11\frac{\partial y_1}{\partial x_1} = a_{11}∂x1​∂y1​​=a11​
  • ∂y1∂x2=a12\frac{\partial y_1}{\partial x_2} = a_{12}∂x2​∂y1​​=a12​
  • ∂y2∂x1=a21\frac{\partial y_2}{\partial x_1} = a_{21}∂x1​∂y2​​=a21​
  • ∂y2∂x2=a22\frac{\partial y_2}{\partial x_2} = a_{22}∂x2​∂y2​​=a22​

所以:
∂y∂x=[a11a12a21a22]=A \frac{\partial \mathbf{y}}{\partial \mathbf{x}} = \begin{bmatrix} a_{11} & a_{12} \\ a_{21} & a_{22} \end{bmatrix} = A ∂x∂y​=[a11​a21​​a12​a22​​]=A


三、直观理解:

  1. 每个 x 的变化,都会通过 A 传递到 y 上。
  2. x1x_1x1​ 增加一点,对 y1y_1y1​ 的影响是 a11a_{11}a11​;对 y2y_2y2​ 的影响是 a21a_{21}a21​。
  3. x2x_2x2​ 增加一点,对 y1y_1y1​ 的影响是 a12a_{12}a12​;对 y2y_2y2​ 的影响是 a22a_{22}a22​。
  4. 每个 元素的偏导数 就是 A 矩阵中相应的系数。

最终的求导结果,就是 A 本身!


四、最简单总结

y=Ax \mathbf{y} = A \mathbf{x} y=Ax

∂y∂x=A \frac{\partial \mathbf{y}}{\partial \mathbf{x}} = A ∂x∂y​=A

这个结果特别常见,也是很多线性代数相关计算的基础。


五、进一步形象化比喻:

你可以把这个过程想象成:

  • AAA 是一个“放大器”或者“混合器”,它把 x\mathbf{x}x 的每个分量放大或混合,得到 y\mathbf{y}y。
  • 你想知道 x 的变化会如何影响 y,答案就是“这个放大器的参数 AAA”。
  • A 本身就已经告诉你 x 每变一点,y 会怎么变了!

这个简单例子能帮助你直观理解“矩阵对向量求导”吗?
如果你还想看非线性变换下的矩阵对向量求导,或者高阶矩阵运算,比如迹、二次型的求导,我可以继续展开讲!😊

Logo

汇聚全球AI编程工具,助力开发者即刻编程。

更多推荐