第五节主要讨论M的数值大小对机器学习的影响。如果M很大,那么就不能保证机器学习有很好的泛化能力,所以问题就转化为验证M有限,即最好按照多项式成长。然后通过引入了成长函数和dichotomy以及break point的概念。提出2D perceptrons的成长函数是多项式级别的猜想。以下探讨这个多项式的形成。
Restriction of Break Point
之前介绍的四种成长函数与break point之间的关系为:
计算k=2的时候,不同的N值成长函数是多少?N=1时,=2;当N=2时,由break point=2知任意两点都不能被shattered(即不能分解为中dichotomies),最大值只能是3;当N=3时,简单绘图分析可得=4,即最多只有4种dichotomy。
可以发现,当N>k时,break point限制了值的大小,也就是说影响成长函数的因素主要有两个:
抽样数据集N
break point k(这个变量确定了假设的类型)
那么,给定N和k,就能够证明的最大值的上界是多项式的,则根据hoeffding不等式,使用代替M,得到机器学习是可行的。因此,证明了的上界是poly(N),是我们的目标。
Bounding Function:Basic Cases