1. 机器学习基础概念与核心框架

机器学习本质上是通过算法让计算机从数据中学习规律，并基于这些规律对新数据进行预测或决策。这个过程就像教小孩认动物——先给他看大量猫狗图片（训练集），等他记住特征后，再拿新图片（测试集）检验是否真的学会了区分。在实际操作中，我们通常会将数据集划分为三部分：

• 训练集 ：相当于学生的课本，用于构建模型。比如用6000张已标注的动物图片训练卷积神经网络。
• 验证集 ：类似模拟考试，用于调整超参数。例如用1500张图片测试不同学习率下模型的准确率。
• 测试集 ：好比最终高考，评估模型真实能力。保留2500张图片在最终环节检验模型泛化性能。

这种划分方式能有效防止"作弊"（过拟合），确保模型学到的是真本事而不是死记硬背。我曾在图像识别项目中吃过亏——最初没严格分离验证集和测试集，导致线上效果比实验低15%，这就是典型的"考场失常"。

2. 监督学习算法原理与实战

2.1 线性回归的数学本质

假设要预测房价，收集了面积(x)和价格(y)的数据。线性回归试图找到最佳拟合直线 y = wx + b，其中w是斜率，b是截距。通过最小二乘法最小化误差函数：

import numpy as np
# 生成模拟数据
X = np.array([50, 80, 120, 150])  # 面积
y = np.array([200, 320, 480, 600]) # 价格

# 计算回归系数
X_mean, y_mean = np.mean(X), np.mean(y)
w = np.sum((X - X_mean)*(y - y_mean))/np.sum((X - X_mean)**2)
b = y_mean - w*X_mean
print(f"回归方程: y = {w:.2f}x + {b:.2f}")

这段代码输出的斜率w实际就是每平米单价，截距b可理解为固定成本。当特征维度增加时，公式会扩展为矩阵形式，但核心思想不变——找到让预测误差最小的参数组合。

2.2 逻辑回归的决策边界

虽然名字带"回归"，但逻辑回归实为分类算法。它通过sigmoid函数将线性输出映射到(0,1)区间：

σ(z) = 1 / (1 + e^(-z))

当预测概率>0.5时判为正类。我曾用这个算法做贷款风控，发现对特征缩放非常敏感。标准化后AUC从0.72提升到0.81，这就是为什么特征工程常说"归一化是基本礼仪"。

3. 神经网络与反向传播

3.1 BP算法推导实例

考虑三层网络预测学生考试成绩，输入层（学习时间、课堂参与度）、隐藏层（3个神经元）、输出层（分数预测）。以权重w_ij更新为例：

1. 前向传播计算预测值
2. 计算输出层误差δ = (y_pred - y_true) * σ'(z)
3. 反向传播误差至隐藏层
4. 更新权重：Δw = -η * δ * a （η为学习率）

# 简化版BP实现
def backward_propagation(X, y, weights, learning_rate):
    # 前向计算（略）
    # 输出层误差
    output_error = y_pred - y
    # 隐藏层误差
    hidden_error = np.dot(weights['output'].T, output_error) * sigmoid_derivative(hidden_output)
    # 更新权重
    weights['output'] -= learning_rate * np.dot(hidden_output, output_error.T)
    weights['hidden'] -= learning_rate * np.dot(X.T, hidden_error)
    return weights

实际项目中遇到过梯度消失问题——当网络层数超过7层时，前几层的权重几乎停止更新。改用ReLU激活函数配合Batch Normalization后效果显著改善。

4. 聚类算法与模型评估

4.1 K-means迭代过程解析

给定学生身高体重数据要分3类，算法步骤：

1. 随机选3个点作为初始质心
2. 计算各点到质心距离并归类
3. 重新计算各类新质心
4. 重复2-3步直到质心稳定

from sklearn.cluster import KMeans
import matplotlib.pyplot as plt

# 生成模拟数据
np.random.seed(42)
X = np.vstack([
    np.random.normal(170, 5, (100, 2)),
    np.random.normal(160, 3, (100, 2)),
    np.random.normal(180, 7, (100, 2))
])

# K-means聚类
kmeans = KMeans(n_clusters=3)
kmeans.fit(X)
plt.scatter(X[:,0], X[:,1], c=kmeans.labels_)
plt.scatter(kmeans.cluster_centers_[:,0], kmeans.cluster_centers_[:,1], marker='x', s=200, linewidths=3)

这个算法对初始质心敏感，实践中建议：

• 使用k-means++初始化
• 多次运行取最优结果
• 结合轮廓系数评估聚类质量

4.2 模型评估指标对比

在电商用户分群项目中，我们发现当轮廓系数>0.6时，业务转化率提升显著。这印证了好的技术指标应该与业务效果挂钩。