案例库 · 研发与科研 · 技术决策 · 1977
Dempster-Laird-Rubin通过交替猜测和最大化来拟合含隐藏数据的模型
Dempster、Laird和Rubin在1977年提出的EM算法，通过交替估计隐藏值和最大化，在数据缺失时拟合最大似然模型。
哈佛大学
那一手
许多模型包含无法观测的变量——一个点属于哪个簇，一个被删失的测量背后的真实值。当数据不完整时，最大似然估计是不可能的。
1977年Dempster、Laird和Rubin的论文给了该领域一个算法：迭代地填充隐藏数据的期望值（E步），然后假设这些值真实而最大化参数（M步）。每一轮似然函数都能保证不下降。
这个保证是关键：EM只需要当前估计，而不需要隐藏真相，并且保证会持续改进直到停止。它把一个困难、常常无法解决的估计问题变成了任何人都能运行的循环。
为什么管用
- 填充隐藏值使得即使在数据缺失的情况下也能进行最大化。
- 似然函数从不下降，所以循环总是有进展。
- 它不需要对潜在变量求梯度，只需要一个可处理的条件期望。
- 它用一套机制处理聚类、混合模型和插补。
值了多少交替进行：填充隐藏数据，然后最大化；重复进行神来之笔
可以搬走什么
当不可观测的数据阻碍估计时，不要丢弃它。从当前猜测出发反复插补隐藏部分并重新估计，因为每一轮只会改善拟合。
后来呢
EM成为统计学和机器学习中的标准工具，用于高斯混合聚类、潜在变量模型、隐马尔可夫模型训练和推荐系统。它的保证和简单的循环使其成为不完整数据最大似然估计的默认方法。
资料来源
发现哪里写错了？告诉我们。