VC维

简单通俗的说。

VC维是模型的复杂程度,模型假设空间越大,VC维越高。
shatter和break point是VC维理论中的概念。shatter是指模型假设把数据打碎了,也就是区分开了。而break point是指当模型复杂度变的足够高了后,可以把数据打的足够散的一个数学临界点。

更重要的是,VC维的实践意义是给机器学习可学性提供了理论支撑。
1. 测试集合的loss是否和训练集合的loss接近?VC维越小,理论越接近。
2. 训练集合的loss是否足够小?VC维越大,loss理论越小。

一般工业实践中通过引入正则对模型复杂度(VC维)进行控制,平衡这两个问题的矛盾。

如果想深入理解,推荐看看腾讯广点通团队的这个技术博客:VC维的来龙去脉 | 火光摇曳 。 个人认为总结的很好。

作者:赵印
链接:https://www.zhihu.com/question/38607822/answer/151561258
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

当然我认为有几点需要修改,模型复杂度和模型表达能力无关,所以应该改成模型的capability表达能力越强VC维越大。

猜你喜欢

转载自blog.csdn.net/qq_30362711/article/details/94633792
vc