9.Adaboost导论.pdf

立即下载 作者: 啊这回彻底死了
上传时间: 2024-08-22
关键词: 学习 训练 july boost 分布 算法 edu.comAda 概念 权值 数据集
大小 298.7 KB
描述
Adaboost导论
七月算法 邹博
2015年4月11日
2/38 julyedu.com
提升方法
 一个概念如果存在一个多项式的学习算法能
够学习它，并且正确率很高，那么，这个概
念是强可学习的；
 一个概念如果存在一个多项式的学习算法能
够学习它，并且学习的正确率仅比随机猜测
略好，那么，这个概念是弱可学习的；
 强可学习与弱可学习是等价的。
 在学习中，如果已经发现了“弱学习算法”，
能否将他提升为“强学习算法”。
3/38 julyedu.com
Adaboost
 设训练数据集T={(x1,y1), (x2,y2)…(xN,yN)}
 初始化训练数据的权值分布
  Ni
N
wwwwwD iNi ,,2,1,
1
,,, 11112111  
4/38 julyedu.com
Adaboost：对于m=1,2,…M
 使用具有权值分布Dm的训练数据集学习，得
到基本分类器
 计算Gm(x)在训练数据集上的分类误差率
 计算Gm(x)的系数
   1,1 ：xGm
     


N
i
iimmiiimm yxGIwyxGPe
1
m
m
m
e
e

1
log
2
1

5/38 julyedu.com
Adaboost：对于m=1,2,…M
 更新训练数据集的权值分布
 这里，Zm是规范化因子
 它的目的仅仅是使Dm+1成为一个概率分布
 
   NixGy
Z
w
w
wwwwD
imim
m
mi
im
Nmimmmm
,,2,1,exp
,,,
,1
,1,12,11,11







  


N
i
imimmim xGywZ
1
exp 
        iiiiimimmiimmimim
m
mi
im xGywwZxGywwZxGy
Z
w
w 111,21,1,1 expexpexp   
6/38 julyedu.com
Adaboost
 构建基
目录
学习/训练/july/boost/分布/算法/edu.comAda/概念/权值/数据集/ 学习/训练/july/boost/分布/算法/edu.comAda/概念/权值/数据集/