泛化： 在先前为观测到的输入上表现良好的能力
泛化误差： 被定义为新输入的误差期望
欠拟合(underfitting): 指模型不能在训练集上获得足够低的误差
过拟合(overfitting)： 指训练误差和测试误差之间的差距太大
通过调整模型的容量(capacity)， 我们可以控制模型是否偏向于过拟合或者欠拟合
Capacity： 指其拟合各种函数的能力
控制训练算法容量的方法： 1. 选择假设空间，即学习算法可以选择为解决方案的函数集
广义线性回归的假设空间包括多项式函数，而非仅有线性函数
VC维： 该分类器能够分类的训练样本的最大数目，度量二元分类器的容量
假设存在m个不同x点的训练集， 分类器可以任意地标记该m个不同的x点， VC维被定义为m的最大可能值
量化模型的容量是的统计学习理论可以进行量化预测。
训练误差和泛化误差之间差异的上界随着模型容量增长而增长， 但随着训练样本增加而下降
然而这些边界很少用于实际的深度学习算法：1. 边界太松 2.很难确定深度学习算法的容量