机器学习导论·第2章 线性模型 笔记

一、线性回归

1. 起源与定义

• 起源：1855年高尔顿提出，研究子女身高向平均身高回归的线性关系。
• 定义：通过特征的线性组合预测连续目标值，用于房价预测、资信评估等。
• 模型公式：

  • 单变量：
  • 多变量：

2. 代价函数（损失函数）

衡量预测值与真实值误差，目标是最小化代价函数。

• ：样本数； ：第 个样本特征； ：真实值

3. 模型优化（求最优参数 ）

（1）解析法（正规方程）

• 对代价函数求导并令导数为0，直接求解：
• 限制： 需可逆，大数据量时计算复杂。

（2）梯度下降法（迭代优化）

• 核心：沿 负梯度方向迭代更新参数，使代价函数逐步收敛到最小值。
• 参数更新公式：

  • ：学习率（步长）， 太小收敛慢、太大易发散。
• 关键： 同步更新所有参数，多变量可扩展到 维。

4. 符号说明

• ：特征数； ：样本数
• ：第 个训练样本
• ：特征矩阵； ：标签向量

二、机器学习基本概念（从线性回归理解）

1. 核心要素

• 数据：带标注的训练样本（经验 ）
• 模型：假设函数 （任务 ）
• 算法：代价函数+优化方法（性能 ）

2. 编程范式对比

• 传统编程：显式编码规则（硬逻辑），适合规则明确场景。
• 机器学习：数据驱动自动学规则，适合规则复杂场景，是 第三代编程范式。

3. 训练与预测流程

• 线下训练：用训练数据+优化算法，学习最优模型参数。
• 线上预测：用训练好的模型，对新数据输出结果。
• 前提：训练数据与测试数据满足 独立同分布。

三、Logistic回归分类器

1. 分类与回归区别

• 回归：输出连续值（如房价）。
• 分类：输出离散类别（如0/1、是否患病），核心是 给样本贴标签。

2. Logistic回归模型

• 提出：1958年David Cox提出，用于二分类。
• 核心：用 Sigmoid函数将线性输出映射到 ，表示概率。

  • Sigmoid：
  • 模型：
• 判决规则： →预测1； →预测0。

3. 代价函数（二元交叉熵）

• 特点：预测正确时代价为0，错误时代价趋近无穷，惩罚错误预测。

4. 优化：梯度下降法

• 参数更新公式：
• 注意：形式与线性回归相似，但 模型输出和代价函数不同。

四、线性判别分析（LDA）

1. 核心思想（Fisher，1936）

将样本投影到直线上，使同类样本投影距离最小、异类样本投影距离最大，实现线性分类+降维。

2. 关键概念

• 投影：向量 在 上的投影：
• 散度矩阵：

  • 类间散度： （ 为两类均值）
  • 类内散度： （ 为两类协方差）

3. 优化目标

最大化： → 最优投影方向：

4. 分类流程

1. 计算两类样本均值 和协方差 ；
2. 求最优投影向量 ；
3. 计算阈值 ；
4. 判决： →类别1；否则→类别0。