CMU10601-machine_learning

CMU10601 机器学习代码、作业

hw1

• 决策树桩实现
• 高数、线代、概率回顾: 题目pdf 答案pdf

hw2

• 决策树实现
  • 依照dataset递归构造决策树
    • 基尼不纯度作为划分依据
    • 叶节点投票决定
  • 遍历决策树
  • 利用决策树进行预测

hw3

• 感知器
• K最近邻
• 线性回归

hw4

• 特征提取，逻辑回归
• 数据集
• 多变量逻辑回归(conditional log likelihood, softmax)

hw5

• 隐层为1的神经网络
• 正向传播，反向传播

hw6

• 学习理论，PAC-learning
• 最大似然估计(MLE),最大后验估计(MAP)
• 朴素贝叶斯

hw7

• 隐马尔科夫
  • 学习
  • 前向-后向算法(Forward-Backward)预测
• 基础知识，维特比

hw8

• 增强学习+线性回归，Q学习小车爬山问题
• 增强学习理论
  • Q学习
  • 值迭代/规则迭代方法
  • 马尔科夫决策过程

hw9

• 图模型，贝叶斯网
• K-Means聚类
• PCA降维
• SVM hard&soft
• 核方法

考试复习题

• mid1

• 主题	页码
  决策树	3
  K最近邻	6
  模型选择	8
  感知器	11
  线性模型	14
  优化方法	19

• mid2

• 主题	页码
  逻辑回归	2
  正则化	4
  神经网络	5
  PAC学习理论	10
  MLE/MAP	12
  朴素贝叶斯	15

• final

• 主题	页码
  集成方法	2
  推荐系统	5
  隐马尔科夫	7
  图模型	10
  PCA	13
  增强学习	15
  K-Means	20
  SVM	24
  核方法	27