（三）：支持向量机（SVM）

1：最大边缘超平面

图显示了一个数据集，方块和圆圈分别属于不同的类

（1）：数据集线性可分：找到一个超平面，使得所以方块位于超平面的一侧，而圆圈位于另一侧

（2）：最大边缘超平面：图中B1就是最大边缘超平面。bi1平移一个与决策边界平行的超平面，直到触到最近的一个方块为止。bi1和bi2之间的间距称为分类器的边缘。B1的边缘最大，所以是最大边缘超平面。

                

 

2：线性支持向量机

2.1:可分情况

    考虑一个包含N个训练样本的二元分类问题。每个样本表示为（xi,yi）(i=1,2…N),yi属于{-1,1}，则一个线性分类器的决策边界可以表示成：                  

                  

用下面的方式预测样本z的类编号

                 

SVM的训练阶段从训练数据估计w和b，w和b需要满足

                 

等价于：

                

同时满足决策边界的边缘最大，既：

                              

SVM的学习任务被形式化描述为：

                

 

2.2：不可分的情况

如图：

                

B1虽然出错，但是仍优于B2，不过需要引进软边缘,如下：

                     

则目标函数修改为：

                    

 

3：非线性支持向量

正在学习中。。。。。。

 

 

转载本文请联系原作者获取授权，同时请注明本文来自沈成光科学网博客。
链接地址：https://blog.sciencenet.cn/blog-796597-627044.html

上一篇：算法学习（二）：贝叶斯分类器
下一篇：算法学习（四）：支持向量机（续）