1. 强化学习要解决的问题
2. 强化学习的发展历史
3. 强化学习方法的分类
4. 强化学习方法的发展趋势

注：本节课共分为二个学时

1. 基本概念，马尔科夫性、马尔科夫过程、马尔科夫决策过程

2. MDP基本元素：策略、回报、值函数、状态行为值函数

3. 贝尔曼方程、优策略。

4. 强化学习的数学形式化

5. Python介绍，及简单的代码演示。

注：本节课共分为两个学时

1. 动态规划概念介绍
2. 策略评估过程介绍
3. 策略改进方法介绍
4. 策略迭代和值迭代
5. 值迭代与优控制介绍
6. 基于 python 的动态规划方法演示

注：本节课共分为两个学时

1. 蒙特卡罗策略评估方法
2. 蒙特卡罗策略改进方法
3. 基于蒙特卡罗的强化学习方法
4. 同策略和异策略强化学习
5. 重要性采样
6. 基于 python 的蒙特卡罗强化学习方法演示

注：本节课共分为两个学时

1. DP，MC 和 TD 方法比较
2. MC 和 TD 方法偏差与方差平衡
3. 同策略 TD 方法：Sarsa 方法
4. 异策略 TD 方法：Qlearning 方法
5. N 步预测及 的前向和后向观点
6. 基于 python 的 TD 方法实现

注：本节课共分为两个学时

1. Gym环境的安装和测试
2. Gym环境创建的关键函数讲解
3. 创建自己的Gym环境讲解
4. 基于自己创建的Gym环境实现 MC，TD等算法

注：本节课共分为两个学时

1. 值函数的参数化表示
2. 值函数的估计过程
3. 值函数的优化方法，随机梯度下降和半梯度下降法
4. 值函数的线性逼近

注：本节课共分为两个学时

1. DQN 方法介绍
2. DQN 变种 Double DQN, Prioritized Replay, Dueling Network

注：本节课共分为两个学时

1. 策略梯度方法介绍
2. 似然率策略梯度推导及重要性采样视角推导
3. 似然率策略梯度的直观理解
4. 常见的策略表示
5. 常见的减小方差的方法：引入基函数法，修改估计值函数法