6-支持向量机.pdf

立即下载 作者: 庸人自扰1
上传时间: 2024-04-19
关键词: 支持 求解 目标 量机 条件 SVM 数据 向量机 约束 优化
大小 1.3 MB
描述
Support Vector Machine
要解决的问题：什么样的决策边界才是最好的呢？
支持向量机
特征数据本身如果就很难分，怎么办呢？
计算复杂度怎么样？能实际应用吗？
目标：基于上述问题对SVM进行推导
Support Vector Machine
决策边界：选出来离雷区最远的（雷区就是边界上的点，要Large Margin）
支持向量机
距离的计算
支持向量机
数据标签定义
数据集：(X1,Y1)(X2,Y2)… (Xn,Yn)
支持向量机
Y为样本的类别： 当X为正例时候 Y = +1 当X为负例时候 Y = -1
决策方程： （其中 是对数据做了变换，后面继续说）
=> =>
优化的目标
通俗解释：找到一个条线（w和b），使得离该线最近的点（雷区）
能够最远
支持向量机
将点到直线的距离化简得：
（由于 所以将绝对值展开原始依旧成立）
目标函数
放缩变换：对于决策方程（w,b）可以通过放缩使得其结果值|Y|>= 1
=> （之前我们认为恒大于0，现在严格了些）
支持向量机
优化目标：
由于 ，只需要考虑 （目标函数搞定！）
目标函数
当前目标：????,?
1
||?||
，约束条件：
支持向量机
常规套路：将求解极大值问题转换成极小值问题=>????,?
1
2
?2
如何求解：应用拉格朗日乘子法求解
拉格朗日乘子法
带约束的优化问题：
支持向量机
原式转换：
我们的式子：
（约束条件不要忘： ）
SVM求解
分别对w和b求偏导,分别得到两个条件（由于对偶性质）
支持向量机
->
对w求偏导：
对b求偏导：
SVM求解
带入原始：
其中
完成了第一步求解 ，
支持向量机
SVM求解
继续对ɑ求极大值：
条件：
支持向量机
极大值转换成求极小值：
条件：
SVM求解实例
数据：3个点，其中正例 X1(3,3) ，X2(4,3) ，负例X3(1,1)
支持向量机
求解：
约束条件：
SVM求解实例
原式： ，将数据代入
由于： 化简可得：
支持向量机

目录
支持/求解/目标/量机/条件/SVM/数据/向量机/约束/优化/ 支持/求解/目标/量机/条件/SVM/数据/向量机/约束/优化/