第3章 深度学习是个什么东西
1.深度神经网络说的是一种结构，而不是一种算法。
2.机器学习是人工智能的一个分支。
3.机器学习就是通过算法，使得机器能从大量历史数据中学习规律，从而对新的样本做智能识别或对未来做预测。
4.非监督学习算法：Apriori算法和K-Means算法
5.人工神经网络和深度学习都属于机器学习的一种，深度学习是神经网络的一个大分支，深度学习的基本结构是深度神经网络。
监督学习和非监督学习是指机器学习的学习方式。
6.人类视觉系统的信息处理是分级的。
7.高层的特征是底层特征的组合，从底层到高层的特征表示越来越抽象，越来越能表现语义或者意图。
8.浅层特征和高级特征解释：一栋房子，砖可以理解成浅层特征，最后形成的房子结构理解成高级特征。
9.词，词组，句子之间的关系，句子由词组组成，词组由此词组成。
10.结构性的特征具有明显的层级概念，从较小的粒度划分，再用划分的基本特征组成上层特征。
1.非监督学习被用来训练各个层。
2.非监督学习在之前学习到的层次之上，一次只学习一个层次，每个层次学习到的结果将作为下一个层次的输入。
3.可以用监督学习来调整层与层之间的权重。
4.传统的神经网络一般只有两层至三层的神经网络，参数和计算单元有限，对复杂函数的表示能力有限，学习能力也有限；
深度学习具有五层十层，甚至更多的神经网络，并且引入了更有效的算法。深度网络这种分层结构，比较接近人类大脑的结构。
5.梯度消失（梯度扩散）：根源在于非凸目标函数导致求解陷入局部最优，且这种情况随着网络层数的增加而增加。
6.自动地学习特征的方法，统称为深度学习。深度学习首先利用无监督学习对每一层进行逐层预训练去学习特征；每次单独训练一层，并将训练结果作为更高一层的输入；然后到最上层改用监督学习从上到下进行微调去学习模型。

7.BP算法的核心是：反向传播，修正权值。