凸优化初步
3月机器学习在线班 邹博
2015年3月14日
2/76 julyedu.com
历史遗留问题
估计量的优良性准则
无偏性
均方误差准则
3/76 julyedu.com
无偏性
利用已知样本 能够得到参数的一个
估计 ,因此, 可以写成 ,对
于不同的样本, 的值一般不同。因此,可
以看成是关于样本的随机变量。它是可以求
均值的:
如果 等于总体的实际分布θ,就说这个
估计是无偏估计。
用 去估计θ,有时偏高,有时偏低,但平均
来说,它等于位置参数θ
nXXX ,,ˆ 21
ˆE
̂
̂
̂E
̂
̂E
nXXX ,, 21
̂
ˆE
4/76 julyedu.com
举例
无偏估计
n
i
iX
n
XX
X
1
21
1
1
ˆ
2
ˆ
ˆ
n
i
iX
n
XX
X
1
21
1
3
1
ˆ
3
ˆ
2ˆ
不是无偏估计
5/76 julyedu.com
样本均值和方差是总体的无偏估计
设总体均值为μ,方差为σ2,X1,X2,…Xn为
来自该总体的样本,即:
则:
n
i
iX
n
X
1
1
n
i
i XX
n
S
1
2
1
1
XE
22 SE
6/76 julyedu.com
均值的无偏性
因为X1,X2,…Xn为同分布的,于是E(Xi)=
μ,所以:
n
n
XE
n
XE
n
X
n
EXE
n
i
i
n
i
i
n
i
i
1111
111
7/76 julyedu.com
方差的无偏性
首先
因此
而
所以
2
1
22
1
22
11
july/edu.com/样本/估计/均值/总体/无偏性/76/方差/偏估计/
july/edu.com/样本/估计/均值/总体/无偏性/76/方差/偏估计/
-->