厂家营销型网站建设,网络直播营销的方式,上google必须翻墙吗,wordpress投票代码SVM#xff08;带软间隔的支持向量机#xff09; 软间隔思想的由来软间隔的引入 谨以此博客作为复习期间的记录。
软间隔思想的由来
在上一篇博客中#xff0c;回顾了线性可分的支持向量机,但在实际情况中#xff0c;很少有完全线性可分的情况#xff0c;大部分线性可分… SVM带软间隔的支持向量机 软间隔思想的由来软间隔的引入 谨以此博客作为复习期间的记录。
软间隔思想的由来
在上一篇博客中回顾了线性可分的支持向量机,但在实际情况中很少有完全线性可分的情况大部分线性可分的情况都是整体线性可分个别样本点无法线性分割开。因此就要避免这极个别样本点对分割平面产生的影响。 线性可分支持向量机
软间隔的引入
在分类过程中允许极个别数据点“越界”如何在目标函数中体现这一点呢 软间隔支持向量机Soft Margin Support Vector Machine的数学形式可以通过修改支持向量机SVM的优化目标函数和约束条件来实现。软间隔允许一些数据点越界引入了松弛变量来处理这些点。
首先我们考虑软间隔的目标函数和约束条件 目标函数 最小化目标函数同时考虑间隔的最大化和误分类点的惩罚即 min w , b , ξ 1 2 ∥ w ∥ 2 C ∑ i 1 N ξ i \min_{\mathbf{w}, b, \boldsymbol{\xi}} \frac{1}{2}\|\mathbf{w}\|^2 C \sum_{i1}^{N} \xi_i w,b,ξmin21∥w∥2Ci1∑Nξi 这里 w \mathbf{w} w 是超平面的法向量 b b b 是截距 ξ \boldsymbol{\xi} ξ 是松弛变量 C 0 C 0 C0 是一个超参数用于控制对误分类点的惩罚程度。 约束条件 考虑函数间隔大于等于 1 的约束条件以及松弛变量 ξ \boldsymbol{\xi} ξ 的非负性约束 y i ( w ⋅ x i b ) ≥ 1 − ξ i , i 1 , 2 , … , N ξ i ≥ 0 , i 1 , 2 , … , N \begin{align*} y_i(\mathbf{w} \cdot \mathbf{x}_i b) \geq 1 - \xi_i, \quad i 1, 2, \dots, N \\ \xi_i \geq 0, \quad i 1, 2, \dots, N \end{align*} yi(w⋅xib)≥1−ξi,i1,2,…,Nξi≥0,i1,2,…,N
线性支持向量机学习算法 输入: 训练数据集 T { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯ , ( x N , y N ) } T\left\{\left(x_1, y_1\right),\left(x_2, y_2\right), \cdots,\left(x_N, y_N\right)\right\} T{(x1,y1),(x2,y2),⋯,(xN,yN)}, 其中, x i ∈ X R n , y i ∈ x_i \in \mathcal{X}\mathbf{R}^n, y_i \in xi∈XRn,yi∈ Y { − 1 , 1 } , i 1 , 2 , ⋯ , N \mathcal{Y}\{-1,1\}, \quad i1,2, \cdots, N Y{−1,1},i1,2,⋯,N; 输出: 分离超平面和分类决策函数. (1) 选择惩罚参数 C 0 C0 C0, 构造并求解凸二次规划问题 min α 1 2 ∑ i 1 N ∑ j 1 N α i α j y i y j ( x i ⋅ x j ) − ∑ i 1 N α i s.t. ∑ i 1 N α i y i 0 0 ⩽ α i ⩽ C , i 1 , 2 , ⋯ , N \begin{aligned} \min _\alpha \frac{1}{2} \sum_{i1}^N \sum_{j1}^N \alpha_i \alpha_j y_i y_j\left(x_i \cdot x_j\right)-\sum_{i1}^N \alpha_i \\ \text { s.t. } \sum_{i1}^N \alpha_i y_i0 \\ 0 \leqslant \alpha_i \leqslant C, \quad i1,2, \cdots, N \end{aligned} αmin s.t. 21i1∑Nj1∑Nαiαjyiyj(xi⋅xj)−i1∑Nαii1∑Nαiyi00⩽αi⩽C,i1,2,⋯,N
求得最优解 α ∗ ( α 1 ∗ , α 2 ∗ , ⋯ , α N ∗ ) T \alpha^*\left(\alpha_1{ }^*, \alpha_2{ }^*, \cdots, \alpha_N{ }^*\right)^{\mathrm{T}} α∗(α1∗,α2∗,⋯,αN∗)T. (2) 计算 w ∗ ∑ i 1 N α i ∗ y i x i w^*\sum_{i1}^N \alpha_i^* y_i x_i w∗∑i1Nαi∗yixi
选择 α ∗ \alpha^* α∗ 的一个分量 α j ∗ \alpha_j{ }^* αj∗ 适合条件 0 α j ∗ C 0\alpha_j^*C 0αj∗C, 计算 b ∗ y j − ∑ i 1 N y i α i ∗ ( x i ⋅ x j ) b^*y_j-\sum_{i1}^N y_i \alpha_i^*\left(x_i \cdot x_j\right) b∗yj−i1∑Nyiαi∗(xi⋅xj) (3) 求得分离超平面 w ∗ ⋅ x b ∗ 0 w^* \cdot xb^*0 w∗⋅xb∗0
分类决策函数: f ( x ) sign ( w ∗ ⋅ x b ∗ ) f(x)\operatorname{sign}\left(w^* \cdot xb^*\right) f(x)sign(w∗⋅xb∗)
