课程介绍

• 

  冒教授

  研究员/技术专家/教授

  计算机博士，现在中科院从事科研教学工作，十余年机器学习教学经验，主持国家级科研项目3项，研究方向为机器学习、计算机视觉及多媒体处理。

• 主题说明

  本课程讲解机器学习算法所需概率和统计推断知识。概率部分包括概率公理及推论、条件概率、贝叶斯公式、随机变量及其概率函数（CDF／pdf）、常用概率分布及其均值、方差；统计推断部分包括大数定律和中心极限定理、极大似然估计、贝叶斯估计，估计的评价、偏差-方差平衡。课程还会讲解假设检验的基本概念。

• 适合对象

  机器学习相关人士或者在校大学生。

• 学习要点

  课程简介：

  理解概率和统计基本概念，会利用合适的概率分布解释机器学习算法原理，运用统计知识求解机器学习模型参数，为后续的机器学习打下扎实的数学基础。

   

  本次课程知识点

  ---

  第一课：随机变量及其分布

  1. 概率公理及推论

  2. 随机事件之间的关系：条件概率、贝叶斯公式

  3. 随机变量及其分布： pmf/pdf、CDF、均值、方差、分位数

  4. 常用随机变量分布：离散型随机变量、连续性随机变量

  5. 概率密度估计

  6. 应用：Kaggle竞赛数据分析（直方图／核密度估计）、xgboost近似搜索（分位数）

   

  第二课：多元随机向量及其分布

  1. 联合概率、边缘概率、条件概率、条件独立

  2. 常用多元分布

  3. 朴素贝叶斯

  4. 应用：MRF、CRF、RBM

   

  第三课：极大似然估计

  1. 极大似然估计：似然函数、极大似然估计

  2. 估计评价：偏差-方差分解、Bootstrap

  3. 应用：线性回归参数估计、logistic回归参数估计

   

  第四课：贝叶斯估计

  1. 贝叶斯估计：先验/共轭先验、似然、后验、大后验估计

  2. 正则

  3. 应用：岭回归、Lasso

   

• 课时安排

  本课程是一个系列课程：

  第一讲：随机变量及其分布

  第二讲：多元随机向量及其分布

  第三讲：极大似然估计

  第四讲：贝叶斯估计