版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u010223750/article/details/56008865
chapter1 绪论
chapter1.1 多项式拟合
- 离散标签叫做分类,连续标签叫做回归
- 在多项式拟合的问题中,随着阶数的变大,参数
M∗ 通常会变得非常大,造成过拟合现象,因此,通过正则化(regulation)可以降低M 的参数大小,这样的技术在统计学中叫收缩(shrinkage),在神经网络中称之为权重衰减(weight decay)
chapter1.2.5 重新考虑曲线拟合问题
- 对于点集
x=(x1,x2,x3,...xN)T 和它的对应目标t=(t1,...tN)T ,在给定xi 的情况下,将预测值ti 看成均值为真实值yi 的高斯分布, 可以得到似然函数:p(t|x,w,β)=∏n=1NN(tn|y(xn.w),β−1)) - 如果将上面的结论朝着贝叶斯的方法前进一步,其实就是根据贝叶斯公式在似然函数上加入了参数的先验分布
p(w|α) ,如果该先验分布服从均值为0的高斯分布,那么可以得出p(w|α)=(α2π)M+12exp{−α2wTw} M 为参数个数, 这种技术称之为最大后验,最大后验概率就是最小化下式β2∑n=1N{y(xn,w)−tn}2+α2wTw p(w|α) 我觉得最后一项应该加进加和公式里,这也是我的疑惑,值得注意的是,这仍然不是纯正的贝叶斯观点,因为目前仍然使用的是对w 的点估计,在纯粹的贝叶斯方法中,需要对所有的w 进行积分,始终应用概率的加法和乘法原则。
chapter1.5 决策论
- 三种常见决策方法: 最小化错误分类率;最小化期望损失;拒绝选项
- 生成模型:确定条件密度
P(x|Ck) 判别模型:确定后验概率密度P(Ck|x) - 判别函数分类和概率无关,可对应到支持向量机分类
- 回归问题的估计函数:
y(x)=Et[t|x] P(y=1|φ)
chapter4 分类的线性模型
chapter4.2 概率生成模型
概率生成模型是对类条件概率密度
考虑二分类的情形,类别
对于多类,我们有:
4.2.1 连续输入
假设类条件概率密度是高斯分布,且假设所有的类别的协方差矩阵相同,这样类别
这些说明了,对于连续的输入,其概率公式
4.2.2最大似然解
4.3概率判别式模型
根据上一节的内容,