10-EM算法.pdf
立即下载
林老爷的日常
2025-05-11
概率
参数
分布
样本
似然
算法
身高
EM
求解
男生
811.4 KB
EM算法
Expectation-Maximization：
最大似然
EM算法推导
GMM（高斯混合模型）
EM算法
最大似然估计
一个栗子：假如你去赌场，但是不知道能不能赚钱，你就在门口堵着
出来一个人就问一个赚了还是赔了，如果问了5个人都说赚了，那么
你就会认为，赚钱的概率肯定是非常大的。
已知：（1）样本服从分布的模型， （2）观测到的样本
求解：模型的参数
总的来说：极大似然估计就是用来估计模型参数的统计学方法
EM算法
最大似然数学问题（100名学生的身高问题）
样本集X={x1,x2,…,xN} N=100
概率密度：p(xi|θ)抽到男生i（的身高）的概率
独立同分布：同时抽到这100个男生的概率就是他们各自概率的乘积
θ是服从分布的参数
EM算法
最大似然数学问题（100名学生的身高问题）
最大似然函数： （对数是为了乘法转加法）
什么样的参数 能够使得出现当前这批样本的概率最大
已知某个随机样本满足某种概率分布，但是其中具体的参数不清楚，
参数估计就是通过若干次试验，观察其结果，利用结果推出参数的大概值。
EM算法
问题又难了一步
现在这100个人中，不光有男生，还有女生（2个类别，2种参数）
男生和女生的身高都服从高斯分布，但是参数不同（均值，方差）
求解目标：男生和女生对应的身高的高斯分布的参数是多少
用数学的语言描述：抽取得到的每个样本都不知道是从哪个分布抽取的
EM算法
加入隐变量
用Z=0或Z=1标记样本来自哪个分布，则Z就是隐变量。
最大似然函数：
求解：在给定初始值情况下进行迭代求解
EM算法
两个硬币的初始假设的分布
A：0.6几率正面
B：0.5几率正面
投掷出5正5反的概率：
pA=C(10,5)*(0.6^5)*(0.4^5)
pB=C(10,5)*(0.5^5)*(0.5^5)
选择硬币A的概率：
pA/(pA+pB)=0.45
选择硬币B的概率
1- pA=0.55
EM算法
EM算法推导
问题：样本集{x(1),…,x(m)}，包含m个独立的样本。
其中每个样本i对应的类别z(i)是未知的，所以很难用最大似然求解。
上式中，要考虑每个样本在各个分布中的情况。
本来正常求偏导就可以了，但是现在log后面还有求和，这就难
概率/参数/分布/样本/似然/算法/身高/EM/求解/男生/
概率/参数/分布/样本/似然/算法/身高/EM/求解/男生/
-->