如何拆分离散随机变量的分布？

[Frank-LSY]

K-means 聚类

高斯混合模型

• 高斯分布

  • 

• 高斯混合模型

  • 
  • 高斯混合模型可以看作是由 K 个单高斯模型组合而成的模型，这 K 个子模型是混合模型的隐变量，GMM使用多个高斯分布的组合来刻画数据分布。
  • 对于高斯混合模型，Log-Likelihood 函数是 ，需要通过迭代的方法求解(EM算法)，容易局部最优，需要通过变换初始化参数来调节。
  • 理论上分类越多拟合越好，在不知道分多少类的情况下如何进行约束？ --- AIC, BIC。
    • AIC 赤池信息量
    • BIC 贝叶斯信息量
    • k是模型参数个数，L是似然函数，n是样本数量。
• 1D GMM model example
• Sklearn GMM

狄利克雷过程

• Dirichlet Process--CMU