这篇文章解决什么问题

前两篇文章讲到，早期 AI 主要依赖符号、规则、搜索和专家知识。专家系统一度证明了窄领域 AI 的商业价值，但它也暴露出一个核心瓶颈：知识很难被完整、稳定、低成本地手写进机器。

机器学习的兴起，正是对这个瓶颈的回应。它把问题从“怎样把专家规则写进程序”转向“怎样让程序从数据中学习规律”。这不是一个简单的技术替换，而是 AI 研究方式的重大变化：研究者开始更重视数据、误差、泛化、评估、特征和统计规律。

这篇文章会解释机器学习如何从 AI 的一个分支逐渐成为主线，并说明 1980 到 2000 年代的统计学习方法为什么为后来的深度学习和大模型铺平了道路。

核心观点

• 机器学习的核心转向是：从手写规则变成从样本中学习函数、模型或决策边界。
• 统计学习方法把“模型在训练集上表现好”与“模型在新数据上表现好”区分开来，泛化成为核心问题。
• 1980 到 2000 年代，决策树、贝叶斯网络、隐马尔可夫模型、SVM、Boosting、Random Forest 等方法推动机器学习走向成熟。
• 特征工程曾经是机器学习实践的中心：算法重要，但怎样把原始数据变成有用特征同样重要。
• 数据集、基准测试、交叉验证、KDD 竞赛和 UCI Repository 让机器学习形成了更强的实验文化。
• 深度学习并不是凭空出现的，它继承了机器学习时代关于数据、优化、泛化和评估的整套问题意识。

历史背景

“机器学习”这个词通常追溯到 Arthur Samuel。他在 IBM 研究跳棋程序时使用了 machine learning 这一说法，强调机器可以通过经验改进表现，而不是完全依赖程序员显式写好的策略。Samuel 的跳棋程序很早就展示了一个方向：机器可以在反复对局和评估中改进，而不是只执行固定规则。

不过，在 1950 到 1970 年代，机器学习还没有成为 AI 的主流。那时更受重视的是符号主义、搜索、逻辑推理和专家知识。原因很现实：数据不够多，算力不够强，统计方法和计算机科学之间的连接还不够紧密，许多任务也没有形成可以标准化比较的数据集。

1980 年代之后，情况逐渐变化。一方面，专家系统的维护成本越来越明显，人们发现“把知识写成规则”并不容易；另一方面，统计学、信息论、优化理论、数据库和计算机硬件都在发展，研究者开始有条件处理更多真实数据。AI 的重点开始从“让机器按照人类写好的规则推理”转向“让机器从样本中归纳模式”。

这个转向并不意味着符号主义消失。事实上，很多机器学习方法仍然保留了可解释结构，例如决策树和贝叶斯网络。真正变化的是工作方式：系统的能力不再主要来自程序员手写的规则，而是来自训练数据、模型假设和学习算法之间的配合。

到了 1990 年代，统计学习理论、支持向量机、Boosting、概率图模型、数据挖掘、信息检索和语音识别等方向共同推动机器学习成熟。进入 2000 年代后，互联网带来更多数据，计算资源更便宜，开源工具和竞赛文化扩散，机器学习逐渐从学术研究进入搜索、广告、推荐、风控、语音、视觉等真实业务系统。

关键事件时间线

技术解释

1. 从手写规则到从数据中学习

专家系统的典型思路是：

如果 条件 A 成立
并且 条件 B 成立
那么 得出结论 C

机器学习的思路则不同。它通常先收集一批样本，每个样本包含输入和期望输出，然后让算法学习一个映射关系：

输入 x -> 模型 f -> 输出 y

例如，在垃圾邮件识别中，专家系统可能要求工程师手写大量规则：

• 如果邮件包含某些词，可能是垃圾邮件。
• 如果发件人地址可疑，可能是垃圾邮件。
• 如果链接数量过多，可能是垃圾邮件。

机器学习系统则会收集大量邮件样本，每封邮件标注为“垃圾邮件”或“正常邮件”，然后让模型从词频、发件人、链接、格式等特征中学习判断规律。

这个变化可以用一张图概括：

机器学习不是不需要人，而是把人的工作重心改变了。人不再主要写每一条判断规则，而是设计数据、选择特征、定义目标、选择模型、评估误差、监控上线后的表现。

2. 训练集、测试集和泛化

机器学习最重要的概念之一是泛化。一个模型在训练数据上表现很好，并不代表它在新数据上表现好。

假设你给模型 1000 道已经有答案的数学题，让它学习。如果它只是记住了这 1000 道题的答案，那么训练集准确率可以很高。但遇到第 1001 道新题时，它可能完全不会。真正有用的学习不是记忆样本，而是学到可以迁移到新样本的规律。

因此，机器学习实践中通常会把数据分成几部分：

数据划分	作用
训练集	用来拟合模型参数
验证集	用来选择模型、调参、比较方案
测试集	用来估计模型在未知数据上的表现

这套评估文化极其重要。它让 AI 研究从“看起来很聪明的演示”转向“在未见数据上可重复比较的实验”。这也是机器学习区别于很多早期 AI 演示系统的关键。

泛化问题还引出了过拟合和欠拟合：

• 过拟合：模型把训练数据中的噪声也学进去了，在训练集好，在新数据差。
• 欠拟合：模型太简单，连训练数据中的主要规律都学不到。

机器学习的许多理论和实践，其实都围绕一个问题展开：怎样让模型既足够灵活，又不过度记忆训练数据。

偏差-方差权衡：理解过拟合和欠拟合的统一框架

过拟合和欠拟合可以用一个更精确的语言来描述：偏差-方差分解（Bias-Variance Decomposition）。它说一个模型在新数据上的预测误差，可以拆成三个来源：

期望误差 = 偏差² + 方差 + 不可约误差

• 偏差（Bias）：模型假设过于简单，无法捕捉真实规律。表现是训练集和测试集都差。例如用一条直线去拟合明显是曲线的关系。
• 方差（Variance）：模型对训练数据的具体抖动太敏感，换一批训练数据就给出完全不同的预测。表现是训练集很好但测试集差。
• 不可约误差：数据本身就有噪声和不可观测变量，任何模型都无法消除。

这两类误差通常此消彼长：模型越复杂，偏差越小（拟合能力强），但方差越大（容易"记住"训练样本的细节）。把测试误差画成模型复杂度的函数，会得到一条经典的 U 型曲线：

实践上常用的"扛过拟合"手段，本质都是在压方差：

• 正则化（L1、L2、weight decay）：限制参数的大小，让模型更"平滑"；
• 更多数据：方差对样本量很敏感，更多样本能直接降方差；
• Dropout、数据增强：注入随机性，让模型不容易记住单一样本；
• 早停（Early Stopping）：在验证集误差开始上升前停止训练；
• 集成学习：用平均消减方差（详见后文）。

理解偏差-方差不是为了背公式，而是为了在调试模型时知道"该往哪边推"：训练误差和测试误差都高，说明偏差大，要换更强模型或更好特征；训练误差低但测试误差高，说明方差大，要正则、加数据或简化模型。深度学习时代仍然在用这个框架做诊断。

3. 监督学习、无监督学习与强化学习

机器学习通常可以粗略分为三类。

监督学习是最常见的一类。数据中有输入，也有标准答案。分类、回归、排序、风险预测、图像识别、垃圾邮件识别都属于这个大方向。监督学习的目标是学会从输入预测输出。

无监督学习没有明确标准答案，目标是从数据中发现结构。聚类、降维、主题模型、异常检测都常见于这个方向。例如，你有一批用户行为数据，但没有人为标签，算法可以尝试把用户分成不同群体。

强化学习关注智能体在环境中行动，通过奖励信号学习策略。它和游戏、机器人、控制、推荐策略等问题有关。强化学习的历史很长，但在本文讨论的 1980 到 2000 年代，它更多是与动态规划、控制理论和学习理论交织发展，直到后来 AlphaGo 等系统才让它进入大众视野。

这三类不是严格隔离的。很多真实系统会组合使用它们。例如推荐系统可能同时使用监督学习预测点击率、无监督学习理解用户分群、强化学习优化长期反馈。

4. 特征工程：深度学习之前的核心手艺

在深度学习大规模流行之前，机器学习项目的成败往往取决于特征工程。

特征是模型看到的数据表示。原始数据通常不能直接喂给传统算法，工程师需要把它转换成合适的数字形式。比如：

任务	原始数据	可能的特征
垃圾邮件识别	邮件正文	词频、链接数量、发件域名、是否含附件
信用风险预测	用户资料	收入、负债、逾期次数、账户年龄
图像识别	像素矩阵	边缘、纹理、角点、颜色直方图
语音识别	声波	频谱特征、音素序列、时间窗口统计
推荐系统	用户行为	点击、收藏、评分、相似用户、相似物品

传统机器学习算法通常无法自动从原始像素、原始音频、原始文本中学出足够高级的表示。人需要把领域知识编码成特征。特征工程越好，模型越容易学习。

这也解释了为什么深度学习后来如此重要。深度神经网络的一个核心优势，是可以在一定程度上自动学习多层表示。例如从图像像素中学习边缘、纹理、局部形状，再到更复杂的对象结构。它并没有消灭特征工程，而是把一部分表示学习交给了模型。

5. 决策树：可解释的归纳学习

决策树是机器学习史上非常重要的一类方法。它把决策过程表示成一棵树：每个内部节点检查一个条件，每条分支对应一个结果，叶子节点给出预测。

例如，一个非常简化的贷款审批树可能是：

决策树受欢迎，是因为它比较直观，也容易解释。Quinlan 的 ID3、后来的 C4.5，以及 Breiman 等人的 CART，都推动了决策树方法的发展。

不过，单棵决策树也容易过拟合。它可能为了适应训练数据，把树长得过深，记住许多偶然细节。后来的 Bagging、Random Forest 和 Boosting，都可以看作是在提高这类模型稳定性和预测能力。

6. 概率模型：让 AI 处理不确定性

符号主义 AI 擅长处理明确规则，但真实世界充满不确定性。一个症状不一定对应一种疾病，一个词不一定只有一个意思，一个语音片段也不一定唯一对应某个音素。

概率模型为 AI 提供了一种表达不确定性的方法。它不要求系统只给出“真”或“假”，而是估计不同可能性的概率。

贝叶斯网络是其中的重要代表。它用图结构表示变量之间的依赖关系，用概率表示不确定性。例如疾病、症状、检查结果之间可以形成一个概率图。系统可以根据观察到的症状，更新不同疾病的概率。

隐马尔可夫模型则在语音识别、自然语言处理和序列建模中影响很大。它假设我们观察到的是可见序列，例如声音特征，而背后存在不可直接看到的状态序列，例如音素或词。模型要根据观测推断隐藏状态。

可以把 HMM 的思想简化为：

概率模型的重要意义在于：AI 不再只能依赖硬规则，也可以用概率处理模糊、噪声和不完整信息。这是从专家系统走向统计学习的重要一步。

7. 统计学习理论：泛化不是凭感觉

统计学习理论试图回答一个更根本的问题：我们凭什么相信模型在训练数据上学到的东西，对未来数据也有效？

Vapnik 等人的工作让机器学习获得了更坚实的理论语言，例如经验风险、结构风险、VC 维、间隔最大化等概念。这里不需要深入数学，但要理解它关心的核心：

• 模型不能只追求训练误差低。
• 模型复杂度会影响泛化。
• 样本数量越多，越有可能估计真实规律。
• 不同算法隐含不同偏置，没有一种方法适合所有问题。

一句话讲清楚的几个概念

• 经验风险（Empirical Risk）：模型在已知训练数据上的平均损失。直观上就是"训练集表现"。
• 结构风险（Structural Risk）：经验风险 + 模型复杂度惩罚。直观上是"既要拟合好，又要别太复杂"。L2 正则、SVM 的间隔最大化都是这个思想的实例。
• VC 维（Vapnik-Chervonenkis Dimension）：粗略可以理解为模型的"表达能力上限"——它最多能完美区分多少个任意标注的点。VC 维越高，模型越灵活，但需要的样本量也越多才能保证泛化。

举个具体例子：二维平面上的直线分类器 VC 维是 3——任意 3 个点的二分类标签都能用一条直线完美划开，但 4 个点（如 XOR 分布）就做不到。这就是为什么 1969 年 Minsky/Papert 在《Perceptrons》里证明单层感知机不能解决 XOR 问题——XOR 的 VC 维需求超过了线性分类器的表达上限。

支持向量机是统计学习理论影响实践的代表。它在分类问题中寻找一个分隔边界，并希望这个边界离两类样本都尽量远。这个"间隔最大化"的思想，让 SVM 在许多中小规模、高维任务上表现很好，尤其在文本分类、生物信息、图像识别等场景中曾经非常流行。

直观地说，SVM 不只是找到一条能分开训练样本的线，而是希望找到一条更稳健的线：

这类方法让机器学习从经验技巧进一步走向理论化。研究者不只问“这个算法在某个数据集上准不准”，也问“为什么它可能在新数据上仍然准”。

8. 集成学习：多个弱模型胜过一个强模型

1990 年代后期到 2000 年代，集成学习成为机器学习的重要方向。它的核心思想是：把多个模型组合起来，往往比单个模型更稳定、更准确。

Bagging 的思路是从训练数据中反复抽样，训练多个模型，然后平均或投票。它可以降低模型对单一训练集波动的敏感性。

Boosting 的思路是逐步训练一系列模型，让后面的模型更关注前面模型犯错的样本。AdaBoost 是代表方法之一，它展示了多个“弱分类器”组合后可以形成很强的预测器。

Random Forest 则把决策树和随机性结合起来，训练许多不同的树，再通过投票或平均得到结果。它的优点是效果强、调参相对容易、对特征类型适应性好，还能提供变量重要性。

集成学习影响深远。即使在深度学习时代，模型集成、投票、平均、重采样、随机化这些思想仍然常见。很多竞赛方案也会通过组合多个模型提升表现。

Bagging 与 Boosting：偏差-方差视角的对比

Bagging 和 Boosting 都是集成学习，但它们解决的问题方向相反，用偏差-方差框架看就一目了然：

维度	Bagging（如 Random Forest）	Boosting（如 AdaBoost、GBDT、XGBoost）
训练方式	并行训练多个独立模型	串行训练，每个新模型修正前面的错误
子模型类型	通常用低偏差、高方差的强学习器（如深决策树）	通常用高偏差、低方差的弱学习器（如树桩）
主要降低	方差	偏差
直觉	用"平均"消除单个模型的随机抖动	用"接力赛"逐步纠正系统性错误
过拟合风险	较低，加更多树通常不会变差	较高，需要早停或限制迭代数
代表算法	Random Forest、Extra Trees	AdaBoost、Gradient Boosting、XGBoost、LightGBM

这个对比有几个实际意义：

• 如果训练误差就很高（偏差大），单纯增加 Bagging 树数没用，应该用 Boosting 或更强的基学习器。
• 如果训练误差很低但测试误差高（方差大），适合 Bagging 或更强的正则化。
• XGBoost / LightGBM 在 2014 年之后的结构化数据竞赛中长期占据榜首，靠的就是 Boosting 强降偏差能力，加上二阶导数优化和正则化抑制方差。

理解 Bagging 是"降方差"、Boosting 是"降偏差"，比记住具体算法名字更重要——它是机器学习里少数能直接指导选型决策的理论结论。

9. 数据集、基准测试与竞赛文化

机器学习成为主线，离不开数据集和评估文化。

1987 年创建的 UCI Machine Learning Repository，为研究者提供了可复用的数据集。它的重要性不只是“有数据可下载”，而是让不同算法可以在相同数据上比较。没有共同数据集，算法优劣很容易变成各说各话。

MNIST 手写数字数据集则成为图像识别和神经网络研究中的经典基准。它足够简单，适合教学和快速比较；又足够真实，能体现模型处理图像模式的能力。

KDD Cup、Netflix Prize 等竞赛进一步强化了这种文化。研究者和工程师围绕同一个任务、同一份数据、同一个指标竞争，推动了特征工程、模型组合、评估方法和工程实现的快速迭代。

这种文化对今天影响很大。大模型时代的排行榜、benchmark、evals、Kaggle、开源数据集，本质上都继承了机器学习时代形成的实验传统。

为什么它重要

机器学习的重要性在于，它改变了 AI 的基本生产方式。

第一，它降低了手写规则的依赖。对于许多任务，我们不再需要把所有规则都提前写出来，而是可以从样本中学习规律。这让 AI 更容易进入复杂、变化快、规则难以穷尽的领域。

第二，它建立了泛化和评估意识。早期 AI 演示常常强调系统能做什么，而机器学习更强调在未见数据上的表现。训练集、验证集、测试集、交叉验证、误差指标，这些工具让 AI 能力变得更可比较。

第三，它推动了 AI 与统计学的融合。概率、估计、误差、假设、正则化、置信度、不确定性，这些统计语言让 AI 更能处理真实世界的数据。

第四，它为深度学习准备了土壤。深度学习后来依赖的大规模数据、梯度优化、表示学习、训练验证测试划分、benchmark 文化，都不是凭空出现的。它们是在机器学习时代逐渐成熟的。

第五，它让 AI 应用从实验室走向业务系统。搜索排序、广告点击率预估、推荐系统、风控、语音识别、OCR、医学辅助分析等，都可以在机器学习框架下不断迭代。

局限与争议

机器学习解决了专家系统的很多问题，但也带来了新的问题。

首先是数据依赖。模型从数据中学习，如果数据有偏差，模型也会继承偏差。训练数据不代表真实世界时，模型上线后可能表现很差。

其次是可解释性下降。决策树还比较容易解释，但 SVM、集成模型、神经网络等方法往往更难说明每个预测背后的原因。准确率提高之后，解释和责任问题变得更重要。

第三是特征工程成本。传统机器学习虽然减少了手写规则，却把大量工作转移到特征设计上。特征工程需要领域知识，也需要反复实验，成本并不低。

第四是指标可能误导。一个模型在测试集上表现好，不代表它在真实业务中一定好。测试集可能泄漏，指标可能选择不当，数据分布可能随时间变化。机器学习把评估变得更科学，但没有让评估自动变得简单。

第五是“没有免费午餐”的问题。没有一种算法在所有任务上都最好。算法选择必须结合数据规模、特征类型、噪声水平、解释需求、部署成本和业务目标。

和今天 AI 的关系

今天的大模型看起来和 1990 年代的机器学习方法差别很大，但核心问题并没有消失。

大模型仍然需要训练数据、验证数据和评估指标；仍然会过拟合、欠拟合和分布外失效；仍然需要处理偏差、噪声、泛化和可解释性；仍然需要在真实业务中监控效果。

很多现代概念都可以追溯到机器学习时代的问题：

机器学习时代的问题	大模型时代的对应概念
特征如何设计	表示学习、Embedding、上下文工程
数据不够或不准	RAG、数据清洗、合成数据、反馈数据
模型如何评估	Evals、Benchmark、红队测试、A/B 测试
模型如何避免过拟合	正则化、早停、数据增强、预训练与微调
模型如何适应业务	Fine-tuning、Prompt、Tool Use、Workflow
模型如何解释	引用来源、可观测日志、解释性研究

大模型也让“从数据中学习”的思想进一步扩展。传统监督学习往往需要人为标注大量样本，而大模型通过自监督学习从海量文本中学习语言规律，再通过指令微调、人类反馈和工具使用适应任务。它不是抛弃机器学习，而是把机器学习推向更大规模、更通用的表示学习。

因此，理解机器学习史可以帮助我们避免一个误解：大模型不是和传统机器学习断裂的全新物种，而是建立在几十年关于数据、优化、泛化、表示和评估的积累之上。

小结

• 机器学习把 AI 的重心从手写规则转向从数据中学习。
• Arthur Samuel 的跳棋程序很早展示了“机器通过经验改进”的思想。
• 专家系统的知识获取和维护瓶颈，为机器学习兴起提供了现实动因。
• 泛化是机器学习的核心：模型必须在未见数据上表现好，而不只是记住训练集。
• 训练集、验证集、测试集和交叉验证让 AI 评估变得更可重复。
• 特征工程曾是传统机器学习实践的核心，也是深度学习后来试图部分自动化的对象。
• 决策树、概率模型、SVM、Boosting、Random Forest 等方法推动统计学习成熟。
• UCI Repository、MNIST、KDD Cup、Netflix Prize 等数据集和竞赛塑造了机器学习实验文化。
• 机器学习没有解决所有问题，它仍然依赖数据质量、评估设计和人类判断。
• 今天的大模型继承了机器学习时代的核心问题，只是在更大规模上重新展开。

参考资料

• IBM, The games that helped AI evolve, Arthur Samuel and machine learning: https://www.ibm.com/history/early-games
• Arthur L. Samuel, Some Studies in Machine Learning Using the Game of Checkers, IBM Journal of Research and Development, 1959: https://ieeexplore.ieee.org/document/5392560
• Leslie G. Valiant, A Theory of the Learnable, Communications of the ACM, 1984: https://cacm.acm.org/research/a-theory-of-the-learnable/
• J. R. Quinlan, Induction of Decision Trees, Machine Learning, 1986: https://link.springer.com/article/10.1023/A:1022643204877
• David E. Rumelhart, Geoffrey E. Hinton, Ronald J. Williams, Learning representations by back-propagating errors, Nature, 1986: https://www.nature.com/articles/323533a0
• UCI Machine Learning Repository, About: https://archive.ics.uci.edu/about
• Judea Pearl, Probabilistic Reasoning in Intelligent Systems, 1988: https://archive.org/details/probabilisticrea00pear
• Lawrence R. Rabiner, A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition, Proceedings of the IEEE, 1989: https://www.fceia.unr.edu.ar/prodivoz/Rabiner_1989.pdf
• Corinna Cortes and Vladimir Vapnik, Support-Vector Networks, Machine Learning, 1995: https://link.springer.com/article/10.1007/BF00994018
• Yoav Freund and Robert E. Schapire, A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting, Journal of Computer and System Sciences, 1997: https://www.sciencedirect.com/science/article/pii/S002200009791504X
• Leo Breiman, Random Forests, Machine Learning, 2001: https://link.springer.com/article/10.1023/A:1010933404324
• Leo Breiman, Statistical Modeling: The Two Cultures, Statistical Science, 2001: https://projecteuclid.org/journals/statistical-science/volume-16/issue-3/Statistical-Modeling–The-Two-Cultures-with-comments-and-a/10.1214/ss/1009213726.full
• Yann LeCun, Corinna Cortes, Christopher J. C. Burges, The MNIST Database of Handwritten Digits: https://yann.lecun.com/exdb/mnist/
• ACM SIGKDD, KDD Cup: https://kdd.org/kdd-cup