第四章：Density Estimation and GMM — 知识点笔记

综合来源：Lecture 04 PDF（56页）、课堂笔记（CSDN）

---

占位图

4.1 期望与方差

期望（Expectation）

$$\mathbb{E}[X]=\sum _{x}x\cdot p(x)$$
$$\mathbb{E}[f(X)]=\sum _{x}f(x)p(x)$$

线性性（无需独立性假设）：
$$\mathbb{E}[aX+bY+c]=a\mathbb{E}[X]+b\mathbb{E}[Y]+c$$

条件期望

$$\mathbb{E}[X|y]=\sum _{x}x\cdot p(x|y)$$

方差（Variance）

$$\text{var}[X]=\mathbb{E}[(X-\mathbb{E}[X]{)}^2]=\mathbb{E}[X^2]-\mathbb{E}[X{]}^2$$

性质：$\text{var}[aX+b]=a^2\text{var}[X]$

协方差（Covariance）

$$\text{cov}[X,Y]=\mathbb{E}[(X-\mathbb{E}[X])(Y-\mathbb{E}[Y])]=\mathbb{E}[XY]-\mathbb{E}[X]\mathbb{E}[Y]$$

---

4.2 概率密度函数（连续）

$$p(x\in [a,b])={\int }_a^{b}p(x)dx$$

• $p(x)\ge 0$ 且 ${\int }_{-\infty }^{\infty }p(x)dx=1$
• 累积分布函数：$P(z)=p(X\le z)={\int }_{-\infty }^{z}p(x)dx$

---

4.3 密度估计与MLE ⭐⭐⭐

密度估计

从数据 D={x1,…,xN}\mathcal{D} = \{x_1, \ldots, x_N\}D={x1​,…,xN​} 推断概率分布 $p(X)$。

• 存在无限多个可能的密度函数→选择是建模决策（归纳偏置！）

两种估计方法

方法	目标	学派
MLE（最大似然估计）	${\hat{w}}_{MLE}=\arg {\max }_{w}p(\mathcal{D}|w)$	频率学派
MAP（最大后验估计）	${\hat{w}}_{MAP}=\arg {\max }_{w}p(\mathcal{D}|w)p(w)$	贝叶斯学派

似然函数（IID假设下）

$$p(\mathcal{D}|w)=\prod _{n=1}^{N}p(x_n|w)$$

对数似然

$$\ln p(\mathcal{D}|w)=\sum _{n=1}^N\ln p(x_n|w)$$

为什么取log：

1. 连乘→求和：更易求导
2. 数值稳定性：多个0.01相乘→0，取log后稳定
3. 单调变换→不改变最优解位置

MLE两步法 ⭐

1. 建模（Modeling）：写出对数似然 $\ln p(\mathcal{D}|w)$
2. 优化（Optimization）：求导→临界点→验证最大值

---

4.4 伯努利分布的MLE ⭐

伯努利分布

X∼Bern(x∣μ):p(x∣μ)=μx(1−μ)1−x,x∈{0,1}X \sim \text{Bern}(x|\mu): p(x|\mu) = \mu^x (1-\mu)^{1-x}, \quad x \in \{0,1\}X∼Bern(x∣μ):p(x∣μ)=μx(1−μ)1−x,x∈{0,1}

$$\mathbb{E}[X]=\mu ,\text{var}[X]=\mu (1-\mu )$$

MLE推导

1. 建模：$\ln p(\mathcal{D}|\mu )=n_1\ln \mu +n_0\ln (1-\mu )$

   • $n_1,n_0$：1和0的观测次数（充分统计量）

2. 优化：$\frac{\partial }{\partial \mu }=\frac{n_1}{\mu }-\frac{n_0}{1-\mu }=0$

$${\mu }_{ML}=\frac{n_1}{n_0+n_1}=\frac{n_1}{N}$$

即：MLE估计的伯努利参数 = 样本中1的比例！

---

4.5 高斯分布的MLE ⭐⭐

高斯（正态）分布

$$X\sim \mathcal{N}(x|\mu ,{\sigma }^2):p(x|\mu ,{\sigma }^2)=\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp \left(-\frac{(x-\mu {)}^2}{2{\sigma }^2}\right)$$

$$\mathbb{E}[X]=\mu ,\text{var}[X]={\sigma }^2$$

MLE推导结果

$${\mu }_{ML}=\frac{1}{N}\sum _{n=1}^N{x}_n\text{（样本均值）}$$

KaTeX parse error: Undefined control sequence: \* at position 75: …2 \quad \text{（\̲*̲有偏\*！）}

偏差分析 ⭐

• $\mathbb{E}[{\mu }_{ML}]=\mu$ → 无偏（Unbiased）
• $\mathbb{E}[{\sigma }_{ML}^2]=\frac{N-1}{N}{\sigma }^2\ne {\sigma }^2$ → 有偏（Biased）！

$$\text{Bias}(\hat{\theta })=\mathbb{E}[\hat{\theta }]-\theta$$

• 无偏估计量：$\mathbb{E}[\hat{\theta }]=\theta$ | 有偏：$\mathbb{E}[\hat{\theta }]\ne \theta$
• 无偏方差估计：${\hat{\sigma }}_{unbiased}^2=\frac{1}{N-1}\sum (x_n-\bar{x}{)}^2$（分母N-1）

---

4.6 多元高斯分布

$$p(\mathbf{x}|\mu ,\Sigma )=\frac{1}{(2\pi {)}^{D/2}|\Sigma {|}^{1/2}}\exp \left(-\frac{1}{2}(\mathbf{x}-\mu {)}^T{\Sigma }^{-1}(\mathbf{x}-\mu )\right)$$

• $\mu \in {\mathbb{R}}^D$：均值向量
• $\Sigma \in {\mathbb{R}}^{D\times D}$：协方差矩阵

---

4.7 高斯混合模型（GMM）⭐⭐

定义

$$p(\mathbf{x}|\pi ,{\mu }_k,{\Sigma }_k)=\sum _{k=1}^K{\pi }_k\cdot \mathcal{N}(\mathbf{x}|{\mu }_k,{\Sigma }_k)$$

• ${\sum }_{k=1}^K{\pi }_k=1$：混合权重（簇的概率分布）
• 每个分量是一个高斯分布

GMM vs K-Means ⭐

特性	K-Means	GMM
聚类类型	硬聚类	软聚类（概率归属）
簇形状	球形	任意椭圆（可拉伸、旋转）
输出	标签	标签 + 归属概率
优化	Lloyd’s	EM算法
数学本质	距离最小化	概率密度最大化

GMM = 隐变量模型

$$\underset{\text{联合概率}}{\underbrace{p(\mathbf{x},z)}}=\underset{{\pi }_z}{\underbrace{p(z)}}\cdot \underset{\mathcal{N}(\mathbf{x}|{\mu }_z,{\Sigma }_z)}{\underbrace{p(\mathbf{x}|z)}}$$

$$p(\mathbf{x})=\sum _{k=1}^{K}p(\mathbf{x},z=k)=\sum _{k=1}^K\mathcal{N}(\mathbf{x}|{\mu }_k,{\Sigma }_k){\pi }_k$$

• $z$：隐变量（latent variable）→"来自哪个簇"
• GMM是生成模型（可从模型中采样数据）

后验概率（归属概率）

$$p(z=k|\mathbf{x})=\frac{\mathcal{N}(\mathbf{x}|{\mu }_k,{\Sigma }_k){\pi }_k}{{\sum }_{k^{\prime }=1}^K\mathcal{N}(\mathbf{x}|{\mu }_{k^{\prime }},{\Sigma }_{k^{\prime }}){\pi }_{k^{\prime }}}$$

---

4.8 EM算法 ⭐⭐

循环依赖问题

• 知道参数→可算后验（簇分配）
• 知道簇分配→可估参数
• →循环依赖！→EM算法解决

EM算法框架

0. 初始化参数（通常用K-means + 密度估计）
1. E-Step（期望步）：用当前参数计算后验 ${\gamma }_{nk}=p(z_n=k|{\mathbf{x}}_n)$
2. M-Step（最大化步）：用软标签最大化期望对数似然→更新参数
3. 重复1-2直到收敛

GMM的EM公式

E-Step：${\gamma }_{nk}=\frac{\mathcal{N}({\mathbf{x}}_n|{\mu }_k,{\Sigma }_k){\pi }_k}{{\sum }_{k^{\prime }}\mathcal{N}({\mathbf{x}}_n|{\mu }_{k^{\prime }},{\Sigma }_{k^{\prime }}){\pi }_{k^{\prime }}}$

M-Step：
$$N_k=\sum _{n=1}^N{\gamma }_{nk},{\pi }_k=\frac{N_k}{N}$$

$${\mu }_k=\frac{1}{N_k}\sum _{n=1}^N{\gamma }_{nk}{\mathbf{x}}_n$$

$${\Sigma }_k=\frac{1}{N_k}\sum _{n=1}^N{\gamma }_{nk}({\mathbf{x}}_n-{\mu }_k)({\mathbf{x}}_n-{\mu }_k{)}^T$$

---

笔记中的图片索引

序号	图片内容描述	来源位置
图1	高斯分布密度函数曲线	Lecture 04 第26页
图2	GMM三分量示意图	Lecture 04 第40-41页
图3	生成模型图模型（z→x）	Lecture 04 第44页
图4	EM算法循环依赖示意图	Lecture 04 第48页
图5	GMM vs K-Means对比	CSDN笔记

---

笔记整理时间：2026年6月28日