Machine Learning and Data Mining 2004
中
国
科
学
院
自
动
化
研
究
所
流形学习问题
杨 剑
中国科学院自动化研究所
2004年12月29日
Machine Learning and Data Mining 2004
中
国
科
学
院
自
动
化
研
究
所
维数约简
增加特
征数
增加信
息量
提高准
确性
增
加
训
练
分
类
器
的
难
度
维数灾难
解决办法:选取尽可能多的, 可能有用的特征, 然后根据
需要进行特征约简.
Machine Learning and Data Mining 2004
中
国
科
学
院
自
动
化
研
究
所
特征选择
特
征
约
简 特征抽取
依据某一标准选择
性质最突出的特征
经已有特征的某种
变换获取约简特征
试验数据分析,数据可视化(通常为2维或3
维)等也需要维数约简
特征约简
Machine Learning and Data Mining 2004
中
国
科
学
院
自
动
化
研
究
所
线性维数约简方法
流形和维数约简.
流形学习的一些数学基础.
几种流形学习算法简介:LLE, Isomap, Laplacian
Eigenmap.
流形学习问题的简单探讨.
Outline
Machine Learning and Data Mining 2004
中
国
科
学
院
自
动
化
研
究
所
线性约简方法
通过特征的线性组合来降维.
本质上是把数据投影到低维线性子空间.
线性方法相对比较简单且容易计算.
两种经典且广泛使用的线性变换的方法:
主成分分析 (PCA);
多重判别分析 (MDA).
Machine Learning and Data Mining 2004
中
国
科
学
院
自
动
化
研
究
特征/自动化/中国/研究所/科学院/Learning/Machine/Data/Mining/流形/
特征/自动化/中国/研究所/科学院/Learning/Machine/Data/Mining/流形/
-->