上节讲到了支持向量机转换为以下问题了:
在线性可分的情况下, 将距离分离超平面最近的样本点的实例称为支持向量, 支持向量是使 yi(wxi+b) -1=0 的点. 对于 yi=+1 的正例点, 支持向量在超平面 wx+b=1 上, 对于 yi=-1 的负例点, 支持向量在 wx+b=-1 上, 如图所示:
举个例子:
使用对偶算法求解支持向量机的好处:
1, 对偶问题更易于求解
2, 自然引入核函数, 进而推广到非线性分类问题
如何利用对偶算法来求解?
首先建立拉格朗日函数:
其中αi>=0,i=1,2,...,N. 根据拉个朗日对偶性, 原始问题的对偶问题是极大极小问题:
为了求得对偶问题的解, 需要先求 L(w,b,α) 对 w,b 的极小, 再求对α的极大.
所以, 支持向量机就可以转换为以下问题了:
举个计算的例子:
以上摘自统计学习方法, 仅为自己方便复习所用.
来源: http://www.bubuko.com/infodetail-3530936.html