4.1广义线性回归和对偶优化.pdf

立即下载 作者: 哎？小查查
上传时间: 2025-04-08
关键词: 65 july edu.com 矩阵 回归 目标 似然 函数 线性 任意
大小 3.4 MB
描述
线性回归与广义线性回归
3月机器学习在线班 邹博
2015年3月15日
2/65 julyedu.com
预备公式：求导
3/65 julyedu.com
线性回归
 y=ax+b
4/65 julyedu.com
多个变量的情形
 考虑两个变量
5/65 julyedu.com
最小二乘的目标函数
 m为样本个数，则一个比较“符合常理”的误
差函数为：
 符合常理
 最小二乘建立的目标函数，即是在噪声为均值
为0的高斯分布下，极大似然估计的目标函数
6/65 julyedu.com
使用极大似然估计解释最小二乘
7/65 julyedu.com
似然函数
8/65 julyedu.com
对数似然
9/65 julyedu.com
θ的解析式的求解过程
10/65 julyedu.com
最小二乘意义下的参数最优解
 参数的解析式
 若XTX不可逆，上式不可使用
  yXIXX TT 1 
  yXXX TT 1
11/65 julyedu.com
附：“简便”方法记忆结论
  yXXX
yXXX
yX
TT
TT
1






12/65 julyedu.com
加入λ扰动后
 XTX半正定：对于任意的非零向量u
 所以，对于任意的实数λ>0， 正
定，从而可逆。保证回归公式一定有意义。
  0   vvXuXuXuuX TXuvTT 令
IXX T 
  yXIXX TT 1 
13/65 julyedu.com
若XTX阶过高
 实际中，若XTX阶过高，仍然需要使用梯度
下降的方式计算数值解。
14/65 julyedu.com
广义逆矩阵（伪逆）
 若A为非奇异矩阵,则线性方程组Ax=b的解为
其中A的A的逆矩阵 满足 (I为单
位矩阵)。若A是奇异阵或长方阵, x=A+ b。A+叫做
A的伪逆阵。
 1955年R.彭罗斯证明了对每个m×n阶矩阵A,都存在
惟一的n×m阶矩阵X，满足：①AXA=A；②
XAX=X；③(AX)*＝I；④(XA)*＝I。通常称X为A
的穆尔-彭罗斯广义逆矩阵,简称M-P逆，记作A+。
 在
目录
65/july/edu.com/矩阵/回归/目标/似然/函数/线性/任意/ 65/july/edu.com/矩阵/回归/目标/似然/函数/线性/任意/