12.EM和GMM.pdf

立即下载 作者: SHOU宅大可爱
上传时间: 2025-02-08
关键词: july 概率 edu.com 高斯 模型 似然 分布 估计 函数 36
大小 749.4 KB
描述
EM、GMM
七月算法 邹博
2015年4月19日
2/36 julyedu.com
主要内容
 通过实例直观求解高斯混合模型GMM
 适合快速掌握GMM，及编程实现
 通过极大似然估计详细推导EM算法
 适合理论层面的深入理解
 用坐标上升理解EM的过程
 推导GMM的参数φ、μ、σ
 复习多元高斯模型
 复习拉格朗日乘子法
3/36 julyedu.com
极大似然估计
 找出与样本的分布最接近的概率分布模型。
 简单的例子
 10次抛硬币的结果是：正正反正正正反反正正
 假设p是每次抛硬币结果为正的概率。则：
 得到这样的实验结果的概率是：
    
 37 1
111
pp
ppppppppppP


4/36 julyedu.com
极大似然估计MLE
 目标函数：
 最优解是：p=0.7
 思考：如何求解？
 一般形式：
 37
10
1maxmax ppP
p


   
x
xp
p
xpL
 
 是实验结果的分布
模型是估计的概率分布
xp
xp
5/36 julyedu.com
进一步考察
 若给定一组样本x1,x2…xn，已知它们来自于
高斯分布N(μ,σ)，试估计参数μ,σ。
6/36 julyedu.com
按照MLE的过程分析
 高斯分布的概率密度函数：
 将x1,x2…xn带入，得到：
 
 
2
2
2
2
1






x
exf
 
 




i
xi
exL
2
2
2
2
1



7/36 julyedu.com
化简对数似然函数
 
 
 
 
   











 













i
i
i
i
i
i
x
i
x
x
n
x
e
exl
i
i
2
2
2
2
2
2
2
2

目录
july/概率/edu.com/高斯/模型/似然/分布/估计/函数/36/ july/概率/edu.com/高斯/模型/似然/分布/估计/函数/36/