Adaboost导论
七月算法 邹博
2015年4月11日
2/38 julyedu.com
提升方法
一个概念如果存在一个多项式的学习算法能
够学习它,并且正确率很高,那么,这个概
念是强可学习的;
一个概念如果存在一个多项式的学习算法能
够学习它,并且学习的正确率仅比随机猜测
略好,那么,这个概念是弱可学习的;
强可学习与弱可学习是等价的。
在学习中,如果已经发现了“弱学习算法”,
能否将他提升为“强学习算法”。
3/38 julyedu.com
Adaboost
设训练数据集T={(x1,y1), (x2,y2)…(xN,yN)}
初始化训练数据的权值分布
Ni
N
wwwwwD iNi ,,2,1,
1
,,, 11112111
4/38 julyedu.com
Adaboost:对于m=1,2,…M
使用具有权值分布Dm的训练数据集学习,得
到基本分类器
计算Gm(x)在训练数据集上的分类误差率
计算Gm(x)的系数
1,1 :xGm
N
i
iimmiiimm yxGIwyxGPe
1
m
m
m
e
e
1
log
2
1
5/38 julyedu.com
Adaboost:对于m=1,2,…M
更新训练数据集的权值分布
这里,Zm是规范化因子
它的目的仅仅是使Dm+1成为一个概率分布
NixGy
Z
w
w
wwwwD
imim
m
mi
im
Nmimmmm
,,2,1,exp
,,,
,1
,1,12,11,11
N
i
imimmim xGywZ
1
exp
iiiiimimmiimmimim
m
mi
im xGywwZxGywwZxGy
Z
w
w 111,21,1,1 expexpexp
6/38 julyedu.com
Adaboost
构建基
学习/训练/july/boost/分布/算法/edu.comAda/概念/权值/数据集/
学习/训练/july/boost/分布/算法/edu.comAda/概念/权值/数据集/
-->