5.梯度下降和拟牛顿 (1).pdf

立即下载 作者: 哎？小查查
上传时间: 2024-05-15
关键词: 72 july edu.com 函数 学习率 方向 梯度 样本 下降 数值
大小 1.3 MB
描述
梯度下降和拟牛顿
3月机器学习在线班 邹博
2015年3月21日
2/72 julyedu.com
预备题目
 已知二次函数的一个点函数值和导数值，以
及另外一个点的函数值，如果确定该函数的
解析式？
 即：二次函数f(x)，已知f(a)，f’(a)，f(b)，求f(x)
 特殊的，若a=0，题目变成：
 对于二次函数f(x)，已知f(0)，f’(0)，f(a)，求f(x)
           00'00' 2
2
fafx
a
fafaf
xf 


3/72 julyedu.com
从线性回归谈起
 y=ax+b=ax1+bx0，其中，x0≡1
4/72 julyedu.com
自变量扩展到多维
5/72 julyedu.com
建立目标函数：最小二乘法
 标记的含义：
 一共有m个样本，其中，第i个样本记做：
 一般的说，每个样本的自变量部分都是n维的，形成n维列向
量；因此，每个 都是向量而不是数值。
 如：y=ax+b的例子中，样本是2维的，第一维是x1，第二维是齐
次项x0恒为1
 样本的标记部分记做y，一般而言，是数值。
 一个比较“符合常理”的误差函数为：
 已经论证：最小二乘建立的目标函数，是在高斯噪声的假设
下，利用极大似然估计的方法建立的。
6/72 julyedu.com
梯度下降算法
 初始化θ(随机初始化)
 迭代，新的θ能够使得J(θ)更小
 如果J(θ)无法继续减少或者达到循环上界次
数，退出。
 α：学习率、步长
7/72 julyedu.com
线性回归目标函数的梯度方向计算
8/72 julyedu.com
问题似乎完美解决
 算法描述+凸函数极值
9/72 julyedu.com
思考
 学习率α如何确定
 使用固定学习率还是变化学习率
 学习率设置多大比较好？
 下降方向
 处理梯度方向，其他方向是否可以？
 可行方向和梯度方向有何关系？
10/72 julyedu.com
实验：固定学习率的梯度下降
 y=x2，初值取x=1.5，学习率使用0.01
11/72 julyedu.com
固定学习率
 分析：
 效果还
目录
72/july/edu.com/函数/学习率/方向/梯度/样本/下降/数值/ 72/july/edu.com/函数/学习率/方向/梯度/样本/下降/数值/