1. 高斯混合聚类：当数据不再"非黑即白"

假设你面前摆着一盘混色糖果，有草莓味、柠檬味和蓝莓味三种。但它们不是整齐分开的，而是随机混在一起。如果让你用机器自动分类，你会怎么做？

这就是高斯混合聚类（GMM）要解决的问题。与K-means这种"非黑即白"的硬聚类不同，GMM允许一颗糖果同时具有多种口味的可能性。比如某颗粉色糖果可能有70%概率是草莓味，25%概率是蓝莓味，5%概率是柠檬味——这就是典型的软聚类思维。

我曾在电商用户分群项目中深有体会：当用K-means划分用户消费层级时，那些月消费1980元的用户总被强行划入2000元档位，而GMM能给出"属于1800-2000元档位概率为85%"这样更合理的判断。

2. 概率模型的数学之美

2.1 从单峰到多峰：混合分布的本质

想象你在测量一群人的身高。如果只有成年人，数据会呈现单峰正态分布。但若同时测量儿童和成年人，数据就会呈现双峰分布。这正是混合模型的核心思想——用多个简单分布的线性组合描述复杂分布。

数学表达为：

p(x) = Σ[π_k * N(x|μ_k,Σ_k)] 

其中π_k是混合权重（如儿童占30%，成人占70%），N()表示第k个高斯分布。

2.2 高斯分布的三要素

每个高斯成分就像一个有自己特性的"小宇宙"：

• 均值μ ：决定分布中心位置
• 协方差Σ ：决定分布形状（圆形/椭圆形）
• 混合系数π ：决定该成分的"话语权"

在电商用户案例中，我们设置3个成分：

1. 低消费群体：μ=500元，Σ=200（消费波动较小）
2. 中消费群体：μ=2000元，Σ=800
3. 高消费群体：μ=8000元，Σ=3000

3. EM算法：当概率遇上迭代

3.1 E步：责任的温柔分配

E步计算的是"责任"γ_ik，即第i个数据点对第k个成分的归属概率。公式看似复杂：

γ_ik = π_k * N(x_i|μ_k,Σ_k) / Σ[π_j * N(x_i|μ_j,Σ_j)]

但本质就是加权概率。比如一个消费1500元的用户：

• 对中消费群的责任可能是0.7
• 对低消费群的责任是0.3
• 对高消费群的责任接近0

3.2 M步：参数的优雅更新

获得责任后，M步重新估计参数：

• 均值更新 ：所有点的加权平均

  μ_k = (Σγ_ik * x_i) / (Σγ_ik)
  

• 协方差更新 ：加权散布矩阵

  Σ_k = Σ[γ_ik*(x_i-μ_k)(x_i-μ_k)^T] / (Σγ_ik)
  

• 权重更新 ：该成分的总责任

  π_k = (Σγ_ik) / N
  

这个过程就像不断调整聚光灯：E步确定每个点应该被哪些灯照亮，M步则根据照射结果调整灯光位置和亮度。

4. 实战中的智慧与陷阱

4.1 初始化：不只是随机选择

我曾用sklearn的GMM处理图像分割，发现不同初始化结果差异巨大。最佳实践是：

from sklearn.mixture import GaussianMixture
gmm = GaussianMixture(n_components=3, 
                     init_params='kmeans',  # 用K-means初始化
                     n_init=5)             # 尝试5次初始值

4.2 协方差约束：防止过拟合的秘诀

协方差矩阵有几种参数化方式：

• full ：完全自由（适合特征间有相关性的数据）
• tied ：所有成分共享相同协方差
• diag ：对角矩阵（特征独立）
• spherical ：球形协方差

对于高维数据，我通常首选'diag'以避免过拟合。

4.3 模型选择：BIC与AIC的博弈

如何确定最佳成分数K？信息准则给出客观标准：

• BIC ：倾向简单模型（惩罚项较重）
• AIC ：更关注模型拟合度

在商品评论情感分析中，当BIC和AIC出现分歧时，我通常选择拐点更明显的那个K值。

5. 超越基础：GMM的高级玩法

5.1 半监督学习：当部分标签已知

如果有10%的用户已知消费层级，可以这样利用先验知识：

gmm = GaussianMixture(n_components=3)
gmm.fit(X_unlabeled)  # 无监督部分
gmm.fit(X_labeled, y_labeled)  # 有监督部分

5.2 异常检测：概率的另类应用

GMM天然适合异常检测——低概率密度区域即异常点：

densities = gmm.score_samples(X_test)
anomalies = X_test[densities < threshold]

在金融风控中，这种方法能有效识别异常交易模式。

5.3 与K-means的深层联系

当GMM满足：

• 所有π_k相等
• Σ_k = εI（ε趋近0）
• 硬分配责任（非软分配）

它就退化为K-means算法。这解释了为什么K-means对非球形簇效果不佳。

6. 真实世界的挑战与应对

在推荐系统项目中，我遇到两个典型问题：

维度灾难 ：用户特征多达100+维时，GMM训练极慢。解决方案：

• 先用PCA降维
• 使用对角协方差约束
• 采用mini-batch EM变种

不平衡簇 ：VIP用户占比仅2%。解决方法：

• 调整先验π_k
• 采用Dirichlet先验正则化
• 对少数类过采样

这些经验让我明白：没有放之四海而皆准的算法，只有因地制宜的解决方案。