机器学习·第5章 支持向量机（SVM）笔记

一、SVM概述

• 地位：1990年代—2015年深度学习兴起前， 效果最好、最成功的机器学习方法。
• 起源：

  • 1963年：Vapnik提出支持向量概念
  • 1968年：提出VC维（统计学习理论基础）
  • 1993/1995年：Cortes & Vapnik提出现代SVM

二、线性可分SVM（硬间隔）

1. 核心思想

寻找间隔最大的分类超平面，泛化能力更强。

• 目标：
• 约束：

2. 拉格朗日对偶

• 最优条件： KKT条件
• 求解：二次规划 / SMO算法

3. 判决函数

由支持向量（ ）决定：

三、软间隔SVM（线性不可分）

1. 问题

现实数据不完全线性可分，硬间隔过严。

2. 引入松弛变量

• ：惩罚系数， 越大越严格

3. Hinge损失

四、核函数（非线性SVM）

1. 思想

通过核函数隐式高维映射，把低维非线性问题转为高维线性可分。

2. 常用核函数

• 线性核：
• 多项式核：
• RBF（高斯）核：

3. 对偶形式（代入核）

五、sklearn调用（要点）

from sklearn.svm import SVC
# 线性SVM
clf = SVC(kernel='linear', C=1.0)
# 高斯核SVM
clf = SVC(kernel='rbf', C=1.0, gamma=0.1)