这个周志华老师《机器学习》西瓜书上面的公式是什么意思？
·
这个公式（1.1）是在计算算法 \Omega_a 在训练集之外样本上的期望误差，常称为训练集外误差（out-of-sample error）。
公式含义可以逐层拆解：
E_{ate}(\Omega_a|X, f) = \sum_{h} \sum_{x \in \mathcal{X} - X} P(x) \cdot \mathbb{I}(h(x) \neq f(x)) \cdot P(h | \mathcal{X}, \Omega_a)
· x \in \mathcal{X} - X：只考虑不在训练集 X 中的样本。
· P(x)：样本 x 在真实分布中的出现概率。
· h(x) \neq f(x)：假设 h 对 x 的预测与真实函数 f 不同，即预测错误。
· \mathbb{I}(\cdot)：指示函数，错误时为 1，正确时为 0。
· P(h | \mathcal{X}, \Omega_a)：算法 \Omega_a 在给定训练集 X 后，输出某个具体假设 h 的概率（因为算法可能有随机性）。
整体逻辑：
1. 对所有可能的输出假设 h 进行加权（按算法输出它的概率）；
2. 对每个 h，计算它在所有“未见样本”上的预测错误（加权 P(x)）；
3. 最终得到训练集外误差的期望值。
简单理解：
固定一个训练集 X 和真实函数 f，算法随机输出 h 时，在未见数据上平均会错多少。
这是机器学习中评价算法泛化能力的基础定义。
汇聚全球AI编程工具，助力开发者即刻编程。
更多推荐
6
0- 0
已为社区贡献2条内容
所有评论(0)