11.支持向量机.pdf

立即下载 作者: 庸人自扰1
上传时间: 2025-01-11
关键词: july edu.com 超平面 55 Lagrange 函数 支撑 分割 集合 条件
大小 1.8 MB
描述
支持向量机
七月算法 邹博
2015年4月18日
2/55 julyedu.com
复习：对偶问题
 一般优化问题的Lagrange乘子法
 Lagrange函数
 对固定的x，Lagrange函数L(x,λ,v)为关于λ和v
的仿射函数
3/55 julyedu.com
复习： Lagrange对偶函数(dual function)
 Lagrange对偶函数
 若没有下确界，定义：
 根据定义，显然有：对∀λ>0，∀v，若原优化问
题有最优值p*，则
 进一步：Lagrange对偶函数为凹函数。
4/55 julyedu.com
线性方程的最小二乘问题
 原问题
 Lagrange函数
 Lagrange对偶函数
 对L求x的偏导，带入L
 对g求v的偏导
5/55 julyedu.com
强对偶条件
 若要对偶函数的最大值即为原问题的最小
值，考察需要满足的条件：
6/55 julyedu.com
Karush-Kuhn-Tucker (KKT)条件
7/55 julyedu.com
主要内容和目标
 理解支持向量机SVM的原理和目标
 掌握支持向量机的计算过程和算法步骤
 对线性不可分的数据，理解软间隔最大化的
含义
 了解核函数的思想
 了解SMO算法的过程
8/55 julyedu.com
支撑超平面
 设集合C，x0为C边界上的点。若存在a≠0，
满足对任意x∈C，都有 成立，则称
超平面 为集合C在点x0处的支
撑超平面。
 凸集边界上任意一点，均存在支撑超平面。
 反之，若一个闭的非中空(内部点不为空)集
合，在边界上的任意一点存在支撑超平面，
则该集合为凸集。
9/55 julyedu.com
分割超平面
 设C和D为两不相交的凸集，则存在超平面
P，P可以将C和D分离。
 注意上式中可以取等号：
 所以：逆命题：“若两个凸集C和D的分割超平面
存在，C和D不相交”为假命题。
 加强条件：若两个凸集至少有一个是开集，那
么当且仅当存在分割超平面，它们不相交。
10/55 julyedu.com
分割超平面的构造
 两个集合的距
离，定义为两个
集合间元素的最
短距离。

目录
july/edu.com/超平面/55/Lagrange/函数/支撑/分割/集合/条件/ july/edu.com/超平面/55/Lagrange/函数/支撑/分割/集合/条件/