神经网络（Neural Network）
- 深度学习：训练神经网络的过程，尤其是大规模神经网络的训练。
- 神经网络：由神经元连接组成网络，每个神经元表示一种操作，通常包含一种激活函数（例如ReLU）。常见的神经网络类别：
- Standard Neural Network：标准神经网络，常见的预测场景。
- Convolutional Neural Network（CNN）：卷积神经网络，常用语图像领域
- Recurrent Nrural Network（RNN）：循环神经网络，常用语序列数据，如语音、自然语言。
- Hybrid Neural Network：混合神经网络，复杂的场景，如自动驾驶（处理图像和雷达信息，可能是CNN+RNN混合）。
监督学习（Supervised Learning）
- 目前，大部分神经网络创造的价值本质上都来自监督学习。
- 监督学习需要首先使用样本数据训练模型（输入和输出的关系），然后把模型应用到实际的场景中。监督学习问题可以分为两类：
- 回归（Regression）：预测的输出是连续的，也就是试图把输入映射为连续函数。
- 分类（Classification）：预测的输出是离散的，把输入映射为离散的类别。
- 监督学习处理的数据可以分类：
- 结构化数据（Structured Data）：例如数据库中数据，数据中的每个特征都有清晰的定义（年龄、性别…）。
- 非结构化数据（Unstructured Data）：例如语音、图像。传统上计算机很难理解。
- 神经网络可以很好的处理结构化和非结构化数据，尤其是在非结构化数据上，相比传统技术，优势巨大。
为什么神经网络会兴起
- 神经网络的优势在于：数据量越大，性能越好，参见下图。
- 以下几个因素促进了神经网络的兴起：
- Data：数字化时代带来了巨量的数据，可以使用大规模的数据训练大规模的神经网络。
- Computation：计算能力使得训练大规模神经网络成为可能。
- Algorithms：算法的演进，例如使用ReLU作为激活函数。
ReLU
* Rectified Linear Unit，修正线性单元。函数表示：
