NJU1healer的个人博客分享 http://blog.sciencenet.cn/u/NJU1healer

博文

SVM(升维大法)

已有 5268 次阅读 2020-5-6 16:59 |个人分类:机器学习|系统分类:科研笔记

(一)SVM结构

(1)引入模型复杂度概念;(2)SVM引入--间隔最大化概念;

(3)软间隔有松弛变量;   (4)非线性核与升维打击。

(二)具体阐述

(1)SVM--突破线性分类器的极限?

image.png

(2)结构风险最小与间隔最大化

       如何最保险的分开两组点?

image.png

(3)二次优化框架

image.png

1588756884(1).jpg

image.png

        接下来是问题转化:不等式优化-->等式优化-->无约束优化-->梯度下降,此时引出Lagrange(拉格朗日)函数来解决这个问题。

1588758288(1).jpg

image.png


(4)找不到间隔怎么办?

       采用正则化的思想,减小测试误差。

image.png  image.png


       把无穷惩罚变为有限惩罚,此时可以让一些点出错,让一些点进入到边界中去,增加容错能力,有了此能力后由硬间隔变为软间隔。

image.png

(5)C越大还是越小正则越厉害?

image.png

       C越小越好,是控制过拟合的因子。

(6)线性不可分怎么办?

image.png

       解决办法是Kernel Trick 。联想特征工程。

image.png


image.png

(7)核函数为什么有用?

image.png

       其实真实是不知道支持向量,α是无解的,只是一个分析。因而需要转换难点,先对w求导得0,然后再对α求导求最大。

       利用强对偶(strong duality)调转个:

image.png

image.png

image.png

1588763026(1).jpg

核函数的简化作用很厉害:

1588761851(1).jpg

image.png

        VC维趋于无穷!

(8)引入非线性核增大拟合力的本质在于什么?

image.png

        缺点是:容易过拟合!

(9)升维打击与非线性分类的形象理解

image.png

高斯核(rbf):

image.png

image.png

SVM的核心思想是正则,越限制,越自由;越自律,越自由!

复杂结构与正则化,控制过拟合:

image.png


        点滴分享,福泽你我!Add oil!



https://blog.sciencenet.cn/blog-3428464-1231892.html

上一篇:神经网络(升维大法)
下一篇:[转载]采样的三种方法优劣比较
收藏 IP: 118.74.90.*| 热度|

1 彭真明

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...
扫一扫,分享此博文

全部作者的其他最新博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-4-22 20:44

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部