泛化
是机器学习本身的核心。简单说，泛化就是在训练数据集上训练好的模型，在测试数据集上表现如何。
正则化”是我们用来防止过拟合的技术。由于我们没有任何关于测试扰动的先验信息，所以通常我们所能做的最好的事情就是尝试训练训练分布的随机扰动，希望这些扰动覆盖测试分布。随机梯度下降，dropout，权重噪音，激活噪音，数据增强，这些都是深度学习中常用的正则化算子。在强化学习中，随机化模拟参数使得训练更加健壮。张驰原在他ICLR 2017演讲中指出，正规化是“任何使训练变得更加困难的事情”（相对于“限制模型容量”的传统观点）。基本上，让事情更难优化，就能提高泛化性能。