转自知乎https://zhuanlan.zhihu.com/p/32235142
1. 神经网络和深度学习
- 神经网络概论
- 主要介绍：神经网络的概念、深度学习兴起的原因、课程内容等；
- 编程作业：无
- 神经网络基础
- 主要介绍：logistic回归、损失函数、梯度下降、计算向量化、代价函数等；
- 编程作业：使用Numpy的基础Python、logistic回归
- 浅层神经网络
- 主要介绍：神经网络、激活函数、梯度下降法、反向传播、随机初始化等；
- 编程作业：使用浅层神经网络实现平面数据分类
- 深层神经网络
- 主要介绍：深度神经网络、DNN的前向和反向传播、参数和超参数等；
- 编程作业：构建DNN、DNN用于图片分类
2. 改善深层神经网络：超参数调试、正则化以及优化
- 深度学习的实践方面
- 主要介绍：训练测试集划分、偏差和方差、正则化、Dropout、输入归一化、梯度消失与梯度爆炸、权重初始化、梯度检验等；
- 编程作业：初始化、正则化、梯度检验
- 优化算法
- 主要介绍：Mini-batch梯度下降、指数加权平均、Momentum梯度下降、RMSprop、Adam优化算法、衰减学习率、局部最优等；
- 编程作业：多种优化算法
- 超参数调试和Batch Norm及框架
- 主要介绍：超参数的调试、Batch Normalization、Softmax、TensorFlow程序框架等；
- 编程作业：TensorFlow简单教程
3. 结构化机器学习项目
- 机器学习策略1
- 主要介绍：正交化、单一数字评估指标、训练/开发/测试集、偏差和方差、改善模型的表现等；
- 编程作业：无
- 机器学习策略2
- 主要介绍：误差分析、错误样本清除、数据分布不匹配问题、迁移学习、多任务学习、端到端的深度学习等；
- 编程作业：无
4. 卷积神经网络
- 卷积神经网络基础
- 主要介绍：计算机视觉、边缘检测、卷积神经网络、Padding、卷积、池化等；
- 编程作业：构建卷积神经网络、手势识别应用
- 卷积神经网络实例模型
- 主要介绍：AlexNet、LeNet、VGG、ResNet、Inception Network、1乘1卷积、迁移学习、数据扩充等；
- 编程作业：Keras教程-the Happy House、Residual Networks
- 目标检测
- 主要介绍：目标定位、目标检测、Bounding Box预测、交并比、非最大值抑制NMS、Anchor box、YOLO算法、候选区域region proposals等；
- 编程作业：自动驾驶-汽车检测
- 特殊应用：人脸识别和神经风格迁移
- 主要介绍：人脸识别、one-shot学习、Siamese网络、Triplet损失、风格迁移、内容损失、风格损失、1D-3D卷积等；
- 编程作业：人脸识别-Happy House、神经风格迁移-深度学习和艺术
5. 序列模型
- 循环神经网络
- 主要介绍：循环神经网络、不同类型的RNN、语言模型、新序列采样、RNN梯度消失、GRU、LSTM、双向RNN、深层RNNs等；
- 编程作业：构建RNN、字母级的语言模型-Dinosaurus land、用LSTM即兴创作Jazz
- 自然语言处理和词嵌入
- 主要介绍：词汇表征、Word Embedding、嵌入矩阵、Word2Vec、负采样、GloVe词向量、情感分类、词嵌入消除偏见等；
- 编程作业：词向量运算、Emojify
- 序列模型和注意力机制
- 主要介绍：序列到序列模型、集束搜索（Beam search）、集束搜索误差分析、Bleu得分、注意力模型、注意力权重、语音识别、触发字检测等；
- 编程作业：机器翻译、触发字检测
