机器学习·第7章 贝叶斯分类器 详细笔记

一、贝叶斯定理（基础）

1. 核心公式

由条件概率推导：

• ： 先验概率（事件A发生概率）
• ： 似然（A发生时B的概率）
• ： 后验概率（B发生时A的概率）

2. 分类任务视角

• ：类别； ：样本特征
• ：类别先验； ：类条件概率（特征在类别下的分布）
• 预测：选 最大后验概率类别：

二、朴素贝叶斯分类器（Naive Bayes）

1. 核心假设

特征条件独立：给定类别，各特征互不相关

• ：特征数； 简化联合概率，避免维度灾难

2. 判决函数

因 对所有类别相同，可省略：

3. 概率估计

（1）离散特征

• 先验： （ ：c类样本数）
• 类条件：

（2）连续特征

假设高斯分布：

• 、 ：c类下特征 的均值、方差

4. 平滑处理（拉普拉斯修正）

解决概率为0问题（未出现特征）：

• ：特征 的取值数

5. 训练与预测流程

• 训练：统计先验 、类条件
• 预测：代入公式，选最大后验类别

6. 模型类型

生成式模型：建模 （先学分布再分类）

• 对比：逻辑回归、SVM为 判别式模型（直接建模 ）

三、最大似然估计（MLE）

1. 核心思想

选使样本出现概率最大的分布参数

• 假设分布形式，用数据估计参数

2. 似然与对数似然

• 似然： （连乘易下溢）
• 对数似然： （避免下溢）

3. 参数求解

4. 应用：逻辑回归参数估计

• 后验：
• 对数似然：

• 最优： （等价最小化交叉熵）

四、贝叶斯信念网（Bayes Net）

1. 背景

朴素贝叶斯独立假设过强，信念网用有向无环图（DAG） 建模特征依赖

2. 结构

• 节点：随机变量（特征）
• 有向边：依赖关系（父→子）
• 条件概率表（CPT）：描述依赖概率

3. 联合概率

4. 模型学习

• 结构已知：统计频率/最大似然估计CPT
• 结构未知：BIC/AIC评分、约束搜索

五、朴素贝叶斯与文本情感分类

1. 任务

判断文本正向/负向（如评论情感）

2. 语言模型（N-gram）

• Unigram：词独立
• Bigram：依赖前一词

3. 情感预测公式

• 预测： →正向

4. 平滑

拉普拉斯修正： （ ：词表数）

六、期望最大化算法（EM）

1. 用途

解决含隐变量的参数估计（数据缺失/未观测）

2. 核心步骤

1. 初始化：参数
2. E步：估计隐变量后验
3. M步：最大化期望对数似然，更新
4. 迭代：收敛至局部最优

3. 应用

KMeans、高斯混合模型、HMM参数估计