简介《支持向量机原理》PPT课件是一份面向机器学习初学者、算法岗备考者及需要快速建立SVM理论框架的研究人员的专业教学课件。全课件共36页系统梳理SVM概念、超平面定义、Logistic回归与形式化表示、函数间隔与几何间隔并逐步深入最大间隔分类器、二次规划原问题、拉格朗日对偶等式约束与不等式约束及KKT条件等关键推导后续还覆盖核函数与软间隔优化内容完整、层次分明。压缩包内共1个文件为464KB的.pptx演示文稿便于直接打开查看或按需二次整理。目前已有294人学习浏览适合作为课程教学、期末复习或自学笔记的补充材料。借助该课件读者既能理解SVM“间隔最大化”的核心思想也能把握从原问题到对偶问题的完整求解脉络为后续学习核方法、支持向量回归等进阶内容打下扎实基础。1. 支持向量机 36 页 PPT 拆解讲了什么适合谁第一次接触支持向量机的人最容易记反它的学习目标SVM 不是把训练集分对而是把间隔拉大。分对只是约束条件拉大间隔才是真正在优化的东西。这份 36 页的 SVM 原理课件从 logistic 回归的判别思路讲起一路推到超平面、函数间隔、几何间隔、最大间隔分类器、拉格朗日对偶和 KKT 条件把支持向量机从「一个分类算法」讲成了「一个凸优化问题」。适合两类人一是调库很熟但公式推导说不清楚的算法工程师二是准备面试、需要把二次规划和软间隔讲明白的同学。课件里每个概念都配了推导路径照着推一遍能打通从分类器到凸优化的完整链路。接下来我会把这份课件拆成可执行的步骤和代码讲清怎么用、参数怎么设、坑在哪。2. 从 logistic 回归到 SVM为什么标签要换成 ±1 而不是 0/12.1 sigmoid 与符号约定软概率到硬判别的切换课件里特意花了两页讲 logistic 回归不是凑篇幅而是因为 SVM 的判别逻辑就是从那里改过来的。logistic 回归用 sigmoid 函数把线性组合 (w^T x b) 映射到 (0,1)输出的是属于正类的概率。SVM 不关心概率它只关心判别函数 (w^T x b) 的正负号——正的就判为 1负的就判为 -1sigmoid 的输出落在 0.5 哪一侧跟这个符号判断完全等价。标签从 0/1 换成 ±1看起来只是记号变化实际上解决了大问题。如果沿用 0/1 标签正例的约束是 (w^T x b \ge 1)负例的约束是 (w^T x b \le -1)两个类别得分开写两套不等式。换成 ±1 之后所有样本的约束可以统一合并成 (y_i(w^T x_i b) \ge 1)一个公式覆盖全部训练样本。这个对称形式是后面函数间隔公式能简洁写出的前提也是课件第 7 页做标签替换的根本动机。import numpy as np def sigmoid(z): return 1 / (1 np.exp(-z)) def svm_decision(w, b, x): # 线性判别函数返回的是符号意义上的原始得分 return np.dot(w, x) b w np.array([1.0, -1.0]) b 0.5 x np.array([2.0, 1.0]) prob sigmoid(svm_decision(w, b, x)) label 1 if svm_decision(w, b, x) 0 else -1 print(fsigmoid 输出: {prob:.4f}, SVM 标签: {label})同一组 (w, b)logistic 回归给出概率SVM 只取符号。代码里svm_decision就是课件里说的判别函数sigmoid是它和概率之间的桥梁实际训练 SVM 时不需要 sigmoid只要判断 0还是 0。这里也顺带交代了超平面的含义n 维空间里满足 (w^T x b 0) 的点构成一张 n-1 维超平面正负号就是在说样本落在超平面的哪一侧。2.2 函数间隔与几何间隔SVM 的丈量尺子有了统一的标签和判别函数接下来要给「分得好不好」定个量化标准。函数间隔定义为 (\hat\gamma_i y_i(w^T x_i b))它同时反映两个信息符号代表分类对不对绝对值代表离超平面有多远。单个样本有函数间隔整个训练集的函数间隔取所有样本里最小的那个代表模型最没把握的样本离边界有多远。但函数间隔有个隐患把 (w) 和 (b) 同时放大 10 倍超平面本身没动函数间隔却放大了 10 倍。几何间隔就是来治这个毛病的。几何间隔 (\gamma_i \hat\gamma_i / ||w||)等于样本点到超平面的欧氏距离乘以符号。(||w||) 把 w 的尺度归一化之后间隔就不再受参数缩放影响了。这就是为什么 SVM 最后优化的是几何间隔而不是函数间隔——函数间隔可以随便缩放几何间隔才是真实的距离。课件里函数间隔和几何间隔两页的区别本质上就是「带尺度的置信度」和「去尺度的置信度」的区别。import numpy as np def margins(w, b, X, y): func_margins y * (X w b) # 函数间隔向量 geo_margins func_margins / np.linalg.norm(w) # 几何间隔向量 return func_margins, geo_margins X np.array([[1, 2], [-1, -2], [2, 1], [-2, -1]]) y np.array([1, -1, 1, -1]) w, b np.array([1.0, 1.0]), 0.0 func, geo margins(w, b, X, y) print(函数间隔:, func) print(几何间隔:, geo) print(全局函数间隔(取最小):, func.min()) print(全局几何间隔(取最小):, geo.min())X w b一次性算出所有样本的判别函数值y *把它们转成带方向的间隔。np.linalg.norm(w)是 L2 范数几何间隔就是函数间隔除以它。注意打印结果里func.min()和geo.min()取的是最小值这是故意取的——SVM 承诺的是「所有样本的间隔至少是这么多」所以全局间隔看最差的那个样本而不是平均。3. 最大间隔分类器二次规划原问题与拉格朗日对偶怎么串3.1 二次规划原问题的三种形式从间隔最大到 1/2||w||² 最小课件里列了「形式 1、形式 2、形式 3」三个版本的优化问题很多人以为这是三个不同的问题其实只是同一个目标的不同写法。把几何间隔最大化写成数学语言在约束 (y_i(w^T x_i b) \ge 1) 下最大化 (1/||w||)。因为约束里已经把函数间隔归一化到 1最大化几何间隔就等价于最小化 (||w||)。为了求导方便习惯上写成最小化 (1/2||w||^2)系数 1/2 纯粹是为了求导时抵消掉指数 2。形式 1 是原始的优化目标形式 2 把约束展开写清楚形式 3 把约束合并成 (y_i(w^T x_i b) - 1 \ge 0)方便后面构造拉格朗日函数。三种形式是同一个凸二次规划问题的不同表达层。为什么强调凸凸二次规划没有局部最优局部最优就是全局最优SVM 的理论保证全建立在这个性质上。实际工程里不手写这个二次规划直接用库里的线性 SVM 就行但要知道库在解什么。from sklearn.svm import LinearSVC from sklearn.preprocessing import StandardScaler model LinearSVC(C1.0, losshinge, max_iter10000) model.fit(X_train, y_train)LinearSVC默认losssquared_hinge对应的是平方合页损失跟课件里的标准 SVM 目标不完全一致要严格对应课件的硬间隔损失把loss改成hinge。C是后面软间隔要讲的惩罚系数数值越大对分类错误的惩罚越重它不是学习率调参逻辑完全不同。这里还埋了一个后续坑训练前必须标准化否则||w||的计算会被量纲大的特征带偏第 5 章会展开说。3.2 拉格朗日对偶与 KKT为什么要有 αᵢ以及支持向量从哪来带约束的优化问题不方便直接求导拉格朗日对偶就是把这个约束吸收到目标函数里的工具。等式约束和不等式约束的构造方式略有不同等式约束直接引入拉格朗日算子 β不等式约束引入 αᵢ 且要求 αᵢ ≥ 0。课件第 13 到 15 页的推导核心在说明一件事在 f 和 g 都是凸函数、h 是仿射的条件下原问题和对偶问题的解相等且解满足 KKT 条件。KKT 四个条件里对理解 SVM 最关键的是互补松弛(\alpha_i g_i(w^) 0)。它意味着要么约束取等号 (g_i(w^) 0)要么对应的 αᵢ 等于 0。落在间隔边界上的样本函数间隔恰好等于 1约束取等号αᵢ 0远离边界的样本约束根本没被激活αᵢ 0。这就是「支持向量」这个名字的由来——真正决定超平面的只有那些 αᵢ 0 的点其他样本对模型毫无贡献。from sklearn.svm import SVC model SVC(kernellinear, C1.0) model.fit(X, y) # alpha 不为 0 的样本即支持向量 sv_idx model.support_ # 决策函数值是 w^T x b 的原始得分 decision model.decision_function(X) print(支持向量索引:, sv_idx) print(支持向量对应的决策函数值:, decision[sv_idx])model.support_给出的是支持向量在训练集里的索引对应课件里那些落在虚线上的点。decision_function返回的是判别函数 (w^T x b) 的值对线性 SVM 来说支持向量上的这个值应该接近 ±1这就是「函数间隔等于 1」在代码里的体现。如果不先跑通这个验证后面谈调参都是空中楼阁。4. 核函数与软间隔线性不可分场景的选型与参数设置4.1 核函数低维线性不可分高维一笔切开课件目录里有核函数这一节正文没有展开推导。实际用 SVM 处理非线性数据核函数是绕不开的。原理一句话把低维空间里线性不可分的数据通过映射函数 φ 投到高维空间在高维空间里找一个线性超平面再映射回原空间就变成非线性边界。但显式计算 φ(x) 往往非常贵核函数的技巧在于优化目标里只需要样本内积 (x_i^T x_j)于是用一个核函数 (K(x_i, x_j)) 直接替代内积完全不用知道 φ 长什么样。常见核函数就四种线性核、多项式核、RBF 核、sigmoid 核。实际工程里 90% 的情况用 RBF 兜底因为 RBF 只有一个参数 γ 要调且能把样本映射到无限维特征空间表达能力足够。文本分类这类高维稀疏数据优先选线性核速度快且不容易过拟合。多项式核的 degree 参数要有先验才值得用否则很容易把边界画得扭曲。核函数表达式适用场景关键参数线性核(x_i^T x_j)高维稀疏、文本分类C多项式核((\gamma x_i^T x_j coef0)^{degree})有明确阶数先验少用degree、γ、coef0RBF 核(\exp(-\gamma |x_i - x_j|^2))中小样本、无先验默认首选γ、Csigmoid 核(\tanh(\gamma x_i^T x_j coef0))极少用参数敏感γ、coef0from sklearn.model_selection import GridSearchCV from sklearn.svm import SVC param_grid [ {kernel: [linear], C: [0.1, 1, 10]}, {kernel: [rbf], C: [0.1, 1, 10], gamma: [0.01, 0.1, 1]} ] grid GridSearchCV(SVC(), param_grid, cv5, scoringf1) grid.fit(X_train_scaled, y_train) print(grid.best_params_)γ 的直觉理解是「单个样本的影响力半径」γ 越大每个样本只影响身边很小范围决策边界跟着样本走容易过拟合γ 越小影响范围越大边界越平滑接近线性。一个常见的起步值是 γ 1 / n_features也就是特征数的倒数然后在这个值两边做对数网格搜索。注意数据集必须先标准化否则 RBF 里算的欧氏距离会被量纲大的维度主导。4.2 软间隔与惩罚系数 C允许错但要付代价硬间隔要求所有样本都满足 (y_i(w^T x_i b) \ge 1)一旦数据有噪声硬间隔可能根本无解。软间隔引入了松弛变量 ξᵢ ≥ 0把约束放宽成 (y_i(w^T x_i b) \ge 1 - \xi_i)允许某些样本越过间隔边界代价是在目标函数里加一项 (C \sum \xi_i)。这个目标函数等价于合页损失视角下的经验风险加结构风险(\min \frac{1}{2}|w|^2 C \sum_i \max(0, 1 - y_i f(x_i)))。C 是间隔宽度和训练误差之间的旋钮。C 大模型拼命把训练样本分对间隔变窄边界贴着样本走容易过拟合C 小模型容忍分错的样本间隔变宽泛化更好但可能欠拟合。课件里软间隔优化那一节本质上就是在讲这个折中。C 的取值边界形态典型风险很大≥ 100窄、贴着支持向量过拟合训练集得分高测试集崩适中1 左右平滑、间隔合理需交叉验证确认很小≤ 0.01宽、几乎线性欠拟合训练集都不准我一般会先固定 C1 跑一遍基线再按对数网格搜 C ∈ {0.01, 0.1, 1, 10, 100}配合 5 折交叉验证看 F1 而不是准确率。做这件事的时候别忘记C 对线性核的效果是改变间隔容错对 RBF 核的效果会和 γ 耦合所以 C、γ 要放在同一组网格里搜索不能分开单独调。5. 避坑SVM 推导与调参中的五个典型问题5.1 不标准化直接训练几何间隔被大数值特征带偏现象一个特征取值范围是 0 到 1另一个特征范围是 0 到 10000训练完准确率异常支持向量全集中在大数值特征那一侧。原因几何间隔公式里 (|w|) 对所有维度一视同仁模型发现只要在小范围特征上放小权重、在大范围特征上放大权重就能轻松把间隔撑大于是小尺度特征基本被忽略。解决训练之前强制走标准化而且要把标准化放进交叉验证的 pipeline 里避免用全量数据算均值方差造成数据泄露。from sklearn.pipeline import make_pipeline from sklearn.preprocessing import StandardScaler model make_pipeline(StandardScaler(), SVC(kernelrbf, C1, gamma0.1)) model.fit(X_train, y_train)make_pipeline保证每次交叉验证折内只从训练折学标准化参数预测时对测试折应用同一套参数。这个坑在树模型里不明显但 SVM 这类基于距离和范数的模型翻车率极高。5.2 RBF 的 γ 和 C 瞎设训练集满分测试集翻车现象训练集准确率接近 1测试集只有 0.6 左右支持向量数量超过训练样本的一半。原因γ 设得过大RBF 核的影响半径太小每个样本都成了孤岛支持向量几乎覆盖全体样本模型把噪声也背下来了。解决不要凭感觉设 γ跑 GridSearchCV 或者随机搜索。先确认支持向量占比如果超过样本数的 50%优先怀疑 γ 过大。搜索结果里如果最佳 γ 落在搜索边界上说明搜索范围不对往更大或更小方向继续扩。param_grid {C: [0.1, 1, 10, 100], gamma: [0.001, 0.01, 0.1, 1]} grid GridSearchCV(SVC(kernelrbf), param_grid, cv5, scoringf1) grid.fit(X_train_scaled, y_train)搜索完之后看一眼grid.best_params_如果 γ 恰好是 1搜索范围上界就把范围扩到 [0.01, 0.1, 1, 10] 重跑一轮如果 C 取到边界值同理。网格搜索不丢人丢人的是搜完不检查边界。5.3 数据量大还死磕默认 SVC训练时间从分钟级变小时级现象样本量到几万用默认SVC(kernelrbf)训练十几分钟还没出结果支持向量占 80% 以上。原因SVC的核矩阵是 n×n 的时间复杂度和空间复杂度都是 O(n²)。几万样本还能撑几十万样本内存直接爆掉这不是调参能救的。解决线性可分用LinearSVC线性近似用SGDClassifier(losshinge)不仅快还能用partial_fit做在线学习。非线性的情况先降维或者抽子样训练再用全量做验证。# 大数据量时线性 SVM 的替换方案 from sklearn.linear_model import SGDClassifier model SGDClassifier(losshinge, alpha1e-4, max_iter100, random_state42) model.fit(X_train, y_train)losshinge就是在优化 SVM 的合页损失alpha起着类似1/C的正则化作用。要换回软间隔的语义alpha越大正则越强间隔越大容错越高。先用一小批样本调好alpha再全量训练这是常规做法。5.4 手推对偶时 KKT 对不上忽略 αᵢ ≥ 0 和互补松弛现象手写拉格朗日对偶推导求出来的 α 出现负值或者认为所有样本的约束都应该取等号结果怎么都对不上课件里的结论。原因不等式约束的拉格朗日算子要求 αᵢ ≥ 0这个非负条件在推导中容易被漏掉。互补松弛又规定只有约束取等号时 αᵢ 才非零那些远离边界的样本 αᵢ 必须等于 0。很多人推导时默认「所有样本都是支持向量」自然得不到稀疏解。解决按 KKT 四条件逐条核对——梯度为 0、αᵢ ≥ 0、约束可行、互补松弛。代码里用dual_coef_恢复出 α 来验证alpha np.abs(model.dual_coef_).ravel() n_nonzero np.sum(alpha 1e-5) print(alpha 非零个数:, n_nonzero) print(支持向量个数:, len(model.support_))dual_coef_存的是 αᵢyᵢ 的乘积取绝对值就得到 αᵢ 的量级。打印出来的两个数字应该一致不一致就说明你对支持向量的理解还停在概念层。这个坑在面试手推 KKT 时几乎是必考点值得多花十分钟跑一遍。5.5 类别不平衡直接套硬间隔模型全猜多数类现象正负样本比例 99:1训练完准确率 99%看起来很美一查召回率几乎为 0全部预测成了多数类。原因SVM 的优化目标天然对类别数量不敏感少数类样本在函数间隔里只占少数票C 对每个样本一视同仁模型发现全猜多数类损失最小。解决设置class_weightbalanced让 C 按类别频率反比加权或者手动调整 C 的比例给少数类更高的惩罚系数。用了类别权重之后网格搜索里的 C 要连带重新调因为加权改变了目标函数的尺度。model SVC(kernelrbf, C1.0, class_weightbalanced) model.fit(X_train, y_train)class_weightbalanced会自动按 n_samples / (n_classes * np.bincount(y)) 计算权重少数类的误分类代价被抬高边界会往多数类方向推一点。这是解决不平衡最省事的办法比手动采集数据快得多。6. 把课件结论落成可跑代码验证支持向量、对偶与核函数6.1 线性可分数据验证「支持向量稀疏」与「αᵢ 0」课件里说支持向量是那些函数间隔等于 1 的点落到代码里支持向量的决策函数值应该接近 ±1支持向量数量应该远小于样本数。这是我每拆一份 SVM 课件都会先跑的第一段代码。import numpy as np from sklearn.svm import SVC # 构造两个线性可分的簇 rng np.random.RandomState(42) X np.r_[rng.randn(30, 2) [2, 2], rng.randn(30, 2) - [2, 2]] y np.array([1] * 30 [-1] * 30) model SVC(kernellinear, C1.0) model.fit(X, y) sv_idx model.support_ alpha np.abs(model.dual_coef_).ravel() boundary model.decision_function(X)[sv_idx] print(支持向量占比:, len(sv_idx) / len(X)) print(支持向量决策函数值:, np.round(boundary, 4)) print(alpha 非零个数:, np.sum(alpha 1e-5))输出里支持向量占比通常在 20% 到 30% 之间支持向量上的决策函数值绝对值接近 1alpha 非零个数等于支持向量个数。三个输出分别对应课件的三个结论间隔最大导致解稀疏、支持向量的函数间隔为 1、互补松弛决定 αᵢ 的非零位置。6.2 环形数据验证 RBF 核的隐式升维线性不可分的数据是验证核函数最直接的方式。环形数据在二维平面上线性超平面无解换 RBF 核之后每个样本都被映射到高维空间低维的环形边界在高维就变得可分了。from sklearn.datasets import make_circles X, y make_circles(n_samples200, factor0.5, noise0.05, random_state0) y np.where(y 0, -1, 1) for kernel in [linear, rbf]: clf SVC(kernelkernel, C1.0, gamma0.5).fit(X, y) acc clf.score(X, y) n_sv len(clf.support_) print(f{kernel}: 训练集准确率 {acc:.3f}, 支持向量数 {n_sv})线性核在这个数据上准确率接近随机猜测RBF 核能到 0.95 以上且 RBF 的支持向量数明显比线性核多。多出来的支持向量就是非线性边界的代价这也解释了为什么 RBF 核在小样本非线性数据上是默认首选。6.3 画出间隔边界把课件里的图自己还原一遍课件里那张「实线是最大间隔超平面虚线上的点是支持向量」的画很多人看过就忘了。用代码把它画出来会真正理解间隔边界的几何含义。decision_function返回的是每个网格点到超平面的带符号距离取值为 0 的等值线就是超平面本身取值为 ±1 的等值线就是两条间隔边界。import matplotlib.pyplot as plt def plot_svm_boundary(model, X, y): xlim [X[:, 0].min() - 1, X[:, 0].max() 1] ylim [X[:, 1].min() - 1, X[:, 1].max() 1] xx, yy np.meshgrid(np.linspace(*xlim, 300), np.linspace(*ylim, 300)) Z model.decision_function(np.c_[xx.ravel(), yy.ravel()]).reshape(xx.shape) plt.contour(xx, yy, Z, levels[-1, 0, 1], colorsk, linestyles[--, -, --]) plt.scatter(X[:, 0], X[:, 1], cy, cmapbwr, edgecolorsk) plt.scatter(X[model.support_, 0], X[model.support_, 1], s80, facecolorsnone, edgecolorsk) plt.show()levels[-1, 0, 1]对应三条等值线中间的实线是决策边界两侧虚线是间隔边界。支持向量全部落在虚线上不多不少。这个验证我每次都会做公式读十遍不如跑一遍——亲眼看到 support vector 的位置和决策函数取值课本里那些符号才真正变成自己的东西。从那以后我每拆一份 SVM 课件或拿到新数据集都强制走一遍「原问题—对偶—支持向量—边界绘图」的闭环等这四个点对齐了才开始谈 C 和 γ。希望帮到你。本文还有配套的精品资源点击获取
