1. 什么是损失函数、代价函数、目标函数？

• 损失函数 Loss $L$（单样本）
  • 只衡量一个样本的预测误差：
  • $L(h(x_i),y_i)=(h(x_i)-y_i{)}^2$
• 代价函数 Cost $J$（全部样本）
  • 最小二乘
    • $J(w)={\sum }_{i=1}^m(h(x_i)-y_i{)}^2$
    • $J(w)=(Xw-y{)}^T(Xw-y)$
  • MSE 均方误差
    • $\mathrm{MSE}=\frac{1}{m}{\sum }_{i=1}^m({\hat{y}}_i-y_i{)}^2$
  • RMSE 均方根误差（只做模型评估）
    • $\mathrm{RMSE}=\sqrt{\frac{1}{m}{\sum }_{i=1}^m({\hat{y}}_i-y_i{)}^2}$
  • MAE 平均绝对误差
    • $\mathrm{MAE}=\frac{1}{m}{\sum }_{i=1}^m\left|{\hat{y}}_i-y_i\right|$
  • 使用方式：
    • 训练阶段：把 MSE 当作代价函数（loss）去更新参数；
    • 模型训练完毕：MSE、RMSE、MAE 全部拿来评估模型好坏。
• 目标函数 Objective $Obj$（最终优化对象）
  • 目标函数是训练时真正最小化的函数，可加正则项
  • 无正则（普通最小二乘）
    • $Obj(w)=J(w)={\sum }_{i=1}^m(h(x_i)-y_i{)}^2$
    • $Obj(w)=J(w)=(Xw-y{)}^T(Xw-y)$
  • 代价函数带 L2 正则（岭回归 / 二阶正则）
    • 公式：
      • $Obj(w)={\sum }_{i=1}^m(h(x_i)-y_i{)}^2+\lambda {\sum }_{i=1}^d{w}_i^2$
      • $Obj(w)=(Xw-y{)}^T(Xw-y)+\lambda w^{T}w$
    • 惩罚项 w²（平方）
      • 大权重会被狠狠惩罚、大幅压缩
      • 小权重惩罚很小，只会无限趋近 0，不会等于 0
    • 核心作用：
      压权重、平滑、可逆、防过拟合
      • 对权重做平方惩罚，让所有权重趋近于 0 但不为 0，权重更平滑
      • 避免单个特征权重过大，泛化能力更强，主打防过拟合
      • 强制让 $X^{T}X+\lambda I$ 永久满秩、可逆，解决多重共线性、特征冗余导致的正规方程失效问题
      • 有解析解，可直接矩阵求解
  • 代价函数带 L1 正则（Lasso回归 / 一阶正则）
    • L1正则为权重绝对值之和，可产生稀疏解、自动筛选特征：
      • $Obj(w)={\sum }_{i=1}^m(h(x_i)-y_i{)}^2+\lambda {\sum }_{j=1}^d|w_j|$
      • $Obj(w)=(Xw-y{)}^T(Xw-y)+\lambda |w|$
    • 惩罚的是 |w|（绝对值）
      • 损失曲面是尖角折线
      • 最优解极易落在 坐标轴上
      • 落在坐标轴 = w 直接等于 0
    • 核心作用
      削弱特征、直接置零、稀疏、无解析解
      • 对权重做绝对值惩罚，会让大量不重要特征的权重直接变为 0
      • 自动剔除无效 / 冗余特征，实现特征降维
      • 无解析解，只能用梯度下降迭代求解
• 三者层级关系
  • 损失函数 ⊂ 代价函数 ⊂ 目标函数

2. 为什么要算损失函数？

• 损失函数用来量化预测误差的
• 通过对损失求梯度，才可以更新参数 $w$
• 不管正规方程还是梯度下降，全部依赖损失函数。

3. 算出来损失函数能干嘛？

• 用来评价当前模型效果
• 通过损失求最优参数（最关键作用）
  • 方案 1：正规方程（解析解）
    • 公式：$w=(X^{T}X{)}^{-1}{X}^{T}y$
  • 方案 2：梯度下降（迭代求解，深度学习主流）
    • 公式：$\mathbf{w}=\mathbf{w}-\eta \frac{\partial J(\mathbf{w})}{\partial \mathbf{w}}$
• 引入正则项解决过拟合（目标函数）

大白话：$w$是未知数，损失函数就是我们的评判标准；机器学习就是不断调整$w$，把损失降到最小。脱离损失函数，我们完全不知道如何设定 w。

4. 正规方程（解析解）公式推导

求解原始最小二乘参数w 有两种方式：正规方程和梯度下降
正规方程：直接矩阵运算一步算出$w$；样本不大时好用；样本很多（m 上万）矩阵求逆计算量巨大
梯度下降：迭代逐步逼近$w$，大数据场景优先选择

这里推导正规方程
整个最小二乘推导链路：平方和损失 → 矩阵形式改写（借助 L2 范数）→ 展开多项式 → 矩阵求导 → 令梯度为 0 → 借助逆矩阵求出

• 第一步：先看下原版最小二乘公式
  • 预测值：$h(x_1)、h(x_2)、h(x_3)...$
  • 真实值：$y_1、y_2、y_3...$
  • 公式：
    • $J(w)=(h(x_1)-y_1{)}^2+(h(x_2)-y_2{)}^2+...+(h(x_m)-y_m{)}^2$
• 第二步：上述公式使用 求和符号 ∑（大写西格玛）表示
  • i从1到m，求样本预测值和真实值差值 的 平方和
  • $J(w)={\sum }_{i=1}^m(h(x_i)-y_i{)}^2$
• 第三步：上述公式使用矩阵转置方式
  • 先了解前置知识
    • 矩阵
      • 矩阵运算：矩阵相乘的必要条件第一个矩阵的列数 = 第二个矩阵的行数（A的列数n= B的行数n），才可以相乘 A⋅B
      • 矩阵转置：把矩阵 $A$ 的行和列互换得到转置矩阵，记作 $A^T$，简单来说，矩阵的转置就是行变列，列变行
      • 矩阵转置举例：矩阵 $A$ 和 矩阵 $A$ 的转置：
        $$\mathbf{A}=\left[\begin{array}{c}1\\ 2\\ 3\end{array}\right],{\mathbf{A}}^T=\left[\begin{array}{ccc}1& 2& 3\end{array}\right]$$
      • 发现：矩阵乘矩阵转置也就是 $A^{T}A$ 等于 $x_1^2+x_2^2+x_3^2$ 等价于 ${\sum }_{i=1}^3{x}_i^2$
        • 注意：当 A是列向量（形状 m×1, m行1列）时一定要写成 $A^{T}A$，不是 $A{A}^T$，前者运算结果是标量也就是具体计算出来的一个值，后者运算结果是m×m的方阵
    • L2范数
      • 针对普通 列向量 $x$（也就是形状 m×1，m行1列） 有如下公式：
      • $\Vert \mathbf{x}{\Vert }_2=\sqrt{x_1^2+x_2^2+\cdots +x_n^2}=\sqrt{{\sum }_{i=1}^n{x}_i^2}$
      • 重点：
        • 结合上述矩阵转置知识：把$A$看作$x$, $x^{T}x$ 等价于 ${\sum }_{i=1}^m{x}_i^2$
        • 也就是 L2 范数去掉根号，也就是 L2 范数$\Vert \mathbf{x}{\Vert }_2$ 再平方，也就是 $x^{T}x$ = $\Vert \mathbf{x}{\Vert }_2^2$
  • 基于第二步公式推导：根据前置知识我们可以将 第2步 中的 $(h(x_i)-y_i)$ 当作 误差向量$e$, $e=Xw-y$
    • $Xw-y$公式说明：
      • $X$：样本特征矩阵，形状 m（样本总数）×d（特征数量），约定第一列全部填充 1，用来计算偏置项 $w_0$
      • $w$：参数列向量，维度 $n\times 1$，$w_0$ 为截距（可以看作kx+b中的b），$w_1\dots w_n-1$是各个特征的权重
      • $y$：真实标签列向量，形状 $m\times 1$，存放样本真实值
    • 此时第2步 中的公式就可以改写成如下公式：
      • $J(w)={\sum }_{i=1}^m(Xw-y{)}^2$
    • 然后，我们在不影响上述公式结果的基础上开根号然后再整体平方，会发现和我们上述范数中推导的公式一致了
      • $J(w)={\sqrt{{\sum }_{i=1}^m(Xw-y{)}^2}}^2$ 等价于 $\Vert \mathbf{Xw}-\mathbf{y}{\Vert }_2^2$
• 第四步：使用矩阵知识进一步推导
  • $J(w)=\Vert \mathbf{Xw}-\mathbf{y}{\Vert }_2^2$
  • 根据范数公式 $\Vert \mathbf{x}{\Vert }_2^2$ = $x^{T}x$，得出
    • $J(w)=(Xw-y{)}^T(Xw-y)$
  • 进行乘法运算，得出
    • 注意：
      转置运算 $(AB{)}^T=B^T{A}^T$
      矩阵乘法不满足交换律 $AB\ne BA$**
    • $J(w)=(Xw{)}^{T}Xw-(Xw{)}^{T}y-y^{T}Xw+y^{T}y$
    • $J(w)=w^T{X}^{T}Xw-w^T{X}^{T}y-y^{T}Xw+y^{T}y$
  • 逐项对 $w$ 求偏导
    • 矩阵求导公式：
      公式一：$\frac{\partial }{\partial w}(w^{T}Aw)=2Aw$ （满足条件：$A$ 是对称矩阵，$A^T=A$）
      公式二：$\frac{\partial }{\partial w}(w^{T}a)=a$（满足条件：$a$ 是 $d\times 1$ 列向量）
      公式三：$\frac{\partial }{\partial w}(Aw)=A^T$（满足条件：$A$ 是 $m\times d$ 矩阵）
    • 第一项对$w$求偏导 $w^T{X}^{T}Xw$
      • 根据公式一： $X^{T}X$是对称矩阵，将 $X^{T}X$ = $A$ 带入得出：$2X^{T}Xw$
    • 第二项对$w$求偏导 $w^T{X}^{T}y$
      • 根据公式二：$X^T$是d x m的矩阵，$y$是 $m\times 1$ 的列向量，相乘是 $d\times 1$ 的列向量，将 $X^{T}y$ = $A$ 带入得出：$X^{T}y$
    • 第三项对$w$求偏导 $y^{T}Xw$
      • 根据公式三得出：$y^T$ 是 $1\times m$ 矩阵，$X$是 $m\times d$ 的矩阵，相乘是$1\times d$ 矩阵，将 $y^{T}X$ = $A$ 带入得出：$X^{T}y$
    • 第四项对$w$求偏导 $y^{T}y$
      • $y^T$ 是 1 x m矩阵，$y$是 $m\times 1$ 矩阵，相乘是 $1\times 1$ 标量，常数对变量求导结果为零向量
  • 全部项结果
    • $\frac{\partial J}{\partial w}=2X^{T}Xw-X^{T}y-X^{T}y$
    • $\frac{\partial J}{\partial w}=2X^{T}Xw-2X^{T}y$
    • 令梯度等于零向量$0$
    • $0=2X^{T}Xw-2X^{T}y$
    • $X^{T}Xw=X^{T}y$
• 第五步：根据第四步结果进一步推导
  • $X^{T}Xw=X^{T}y$
  • 这里我们引入$X^{T}X$的逆矩阵，目的是为了得到一个单位矩阵，从而消除等式左边的$X^{T}X$。
    • 方阵 $A$ 可逆的条件：
      • 条件一：$A$ 必须是$n\times n$方阵 (条件一满足：矩阵的转置乘矩阵就是方阵，这里的$X^{T}X$就是方阵)
      • 条件二：$A$ 满秩, 也就是矩阵里面所有行（列）彼此独立，任意一列都不能用剩下列通过加减倍数拼凑出来（列之间线性无关）。行列式 $|A|\ne 0$ (条件二不一定满足)
  • 这里我们假设 方阵 $A$ 可逆的条件满足： 因为方阵乘逆方阵等于单位矩阵 $A^{-}1A=A{A}^{-}1=I$，所以推出：
    • $(X^{T}X{)}^{-1}(X^{T}X)w=(X^{T}X{)}^{-1}{X}^{T}y$
    • $Iw=(X^{T}X{)}^{-1}{X}^{T}y$
    • $w=(X^{T}X{)}^{-1}{X}^{T}y$
• 最终推导结果
  • $w=(X^{T}X{)}^{-1}{X}^{T}y$
• 前提条件牢记：
  • 当$X^{T}X$不满秩时，$(X^{T}X{)}^{-1}$不存在，解析解失效，这时引入L2正则：$w=(X^{T}X+\lambda I{)}^{-1}{X}^{T}y$