机器学习·第9章 集成学习 详细笔记

一、集成学习概述

1. 核心思想

多个弱学习器组合成强学习器，提升整体性能。

• 别名：多分类器系统、委员会学习、MoE（混合专家）
• 俗语： 三个臭皮匠顶个诸葛亮

2. 集成分类

• 同质集成：基学习器类型相同（如多个决策树）
• 异质集成：基学习器类型不同（树+SVM+LR）

3. 关键条件

基学习器需好且不同：

• 有一定准确率（优于随机）
• 具有多样性（误差不相关）

4. 错误率上限（Hoeffding不等式）

基分类器独立时，集成错误率随个数指数下降：

二、Boosting（提升法）与AdaBoost

1. 核心逻辑

串行训练，逐步纠正错误：

• 每轮提高错分样本权重
• 弱学习器侧重难例，最终加权组合

2. AdaBoost算法（1995）

（1）步骤

1. 初始化权重：
2. 迭代T轮：

   • 用加权数据训练弱分类器
   • 计算误差：
   • 弱分类器权重： （ 则 ）
   • 更新样本权重： （ 归一化）
3. 最终集成：

（2）损失函数：指数损失

3. 弱分类器：单层决策树（决策树桩）

• 用 信息增益选最优划分属性
• 信息熵：
• 信息增益：

三、Bagging（自举汇聚）与随机森林

1. 核心逻辑

并行训练，独立采样：

• Bootstrap采样生成不同训练集
• 基学习器独立，结果投票/平均

2. Bagging算法

1. Bootstrap采样：m次放回采样，生成新数据集
2. 并行训练：每个数据集训练一个基学习器
3. 结果融合：分类投票、回归平均

3. Bootstrap采样特性

• 样本未被抽到概率：
• 可做 包外估计（OOB）

4. 随机森林（RF，Bagging代表）

• 基学习器：决策树
• 双重随机：

  1. 样本随机（Bootstrap）
  2. 属性随机（随机选k个特征）
• 优点：抗过拟合、鲁棒、并行高效

四、Stacking（堆叠集成）

1. 核心逻辑

两层模型：

• 第一层：基学习器输出预测
• 第二层：元模型学习基输出与真实标签映射

2. 算法步骤

1. 训练基模型：用全数据训练T个基学习器
2. 生成元特征：基模型预测结果作为新特征
3. 训练元模型：用元特征训练最终模型
4. 预测：基输出→元模型→最终结果

五、三种集成对比