信息熵公式的来源
之所以会写这篇博客,是因为在上一篇博客:
- 秦刚刚的机器学习成长之路之决策树总结
https://blog.csdn.net/yzcjwddbdgg/article/details/85251353
中,决策树在进行特征选择的时候用到了信息增益和信息增益比,这两者的本质就是信息熵公式。
在网上看了很多相关讲解,我个人觉得通过以下几篇文章就能很好的弄清楚这一问题:
https://www.zhihu.com/question/22178202/answer/223017546
https://www.zhihu.com/question/22178202/answer/49929786
https://www.zhihu.com/question/22178202/answer/161732605