《统计学习方法》课件.pdf

立即下载 作者: NetworkAttachedStorage
上传时间: 2024-04-19
关键词: 学习 统计 数据 模型 统计 概率 输入 假设 联合 监督
大小 15.9 MB
描述
袁春 清华大学深圳研究生院
李航 华为诺亚方舟实验室
目录
1. 统计学习
2. 监督学习
3. 统计学习三要素
4. 模型评估与模型选择
5. 正则化与交叉验证
6. 泛化能力
7. 生成模型与判别模型
8. 分类问题
9. 标注问题
10. 回归问题
一、统计学习
统计学习的对象
data ：计算机及互联网上的各种数字、文字、图像、视
频、音频数据以及它们的组合。
数据的基本假设是同类数据具有一定的统计规律性。
统计学习的目的
用于对数据（特别是未知数据）进行预测和分析。
统计学习
统计学习的方法
分类：
 Supervised learning
 Unsupervised learning
 Semi-supervised learning
 Reinforcement learning
监督学习：
训练数据 training data
模型 model ------- 假设空间 hypothesis
评价准则 evaluation criterion -------- 策略 strategy
算法 algorithm
统计学习
统计学习的研究：
统计学习方法
统计学习理论（统计学习方法的有效性和效率和基本理论）
统计学习应用
二、监督学习
Instance，feature vector，feature space
输入实例x的特征向量：
 x(i)与xi 不同,后者表示多个输入变量中的第i个
训练集：
输入变量和输出变量：
分类问题、回归问题、标注问题
监督学习
联合概率分布
假设输入与输出的随机变量X和Y遵循联合概率分布P(X,Y)
P(X,Y)为分布函数或分布密度函数
对于学习系统来说，联合概率分布是未知的，
训练数据和测试数据被看作是依联合概率分布P(X,Y)独立
同分布产生的。
假设空间
监督学习目的是学习一个由输入到输出的映射，称为模型
模式的集合就是假设空间（hypothesis space）
概率模型:条件概率分布P(Y|X), 决策函数：Y=f(X)
监督学习
问题的形式化
三、统计学习三要素
模型：
决策函数的集合：
参数空间
目录
学习/统计/数据/模型/统计/概率/输入/假设/联合/监督/ 学习/统计/数据/模型/统计/概率/输入/假设/联合/监督/