第一课：矩阵初步

1. 矩阵的基本概念：

（1）实数、向量、矩阵、张量

（2）矩阵和向量的关系

（3）矩阵和方程组的关系

（4）特殊矩阵：单位矩阵，数量矩阵，对角矩阵，三角矩阵 

2. 矩阵的基本运算：

（1）矩阵的加、减、乘（数乘和矩阵乘法）、除，转置（对称矩阵），求行列式

（2）方程组的矩阵表示

（3）矩阵三个初等变换

（4）矩阵的逆、秩、迹

第二课：矩阵变换和线性空间

1. 线性空间

（1）线性的概念、线性相关、线性表示（线性组合）和方程组的关系

（2）线性空间、线性子空间（生成子空间）、向量组的值域和核

（3）线性空间的范数、范数（p=1、2、）、矩阵的Frobenius范数

2. 矩阵分解

（1）特征分解、正交分解、正定（半正定）矩阵、正定矩阵和特征分解之间的关系、SVD分解（Moore-Penrose伪逆）

（2）应用举例：PCA

第三课：矩阵求导

1. 梯度向量、Hessin矩阵、方向导数、多元函数泰勒展开、梯度下降

2. 应用举例：小二乘法

本次课程知识点

第一课：机器学习与优化方法简介与关系

1. 机器学习简介

2. 优化问题求解与凸优化

3. 典型案例：支持向量机与深度学习

第二课：求解凸优化问题的算法

1. 传统凸优化求解方法、一阶与二阶优化方法

2. 机器学习问题求解的现成工具

3. 案例：支持向量机中的凸优化方法

第三课：深度学习与非凸优化

1. 深度学习简介

2. 深度模型训练中的优化问题

3. 案例分析：深度学习中的梯度下降算法