EM最大期望算法

[Frank-LSY]

• 最大期望（EM）算法是在概率模型中寻找参数最大似然估计或者最大后验估计的算法，其中概率模型依赖于无法观测的隐变量。最大期望算法经常用在机器学习和计算机视觉的数据聚类领域。最大期望算法经过两个步骤交替进行计算，第一步是计算期望（E），利用对隐藏变量的现有估计值，计算其最大似然估计值；第二步是最大化（M），最大化在E步上求得的最大似然值来计算参数的值。M步上找到的参数估计值被用于下一个E步计算中，这个过程不断交替进行。

• 初始化分布参数

• 重复直到收敛：

  • E步骤：根据参数的假设值，给出未知变量的期望估计，应用于缺失值。
  • M步骤：根据未知变量的估计值，给出当前的参数的极大似然估计。