版权声明: https://blog.csdn.net/u013531940/article/details/82118381
1. 罗杰斯特回归(Logistic)函数
hθ=g(θTx)=11+e−θTx
2. 罗杰斯特回归最基本的学习算法是最大似然法
设共有
n
个独立的训练样本,其中
n1
个属于
w1
类,
n2
个属于
w2
类,将两类的输出分别编码为
y=1
和
y=0
。
每一个观察到的样本
(xi,yi)
出现的概率是:
P(xi,yi)=P(yi|xi)yi(1−P(yi|xi))1−yiP(xi)=defζ(xi,yi)
n
个独立样本出现的似然函数为:
l=∏i=1Nζ(xi,yi)
L′(β)=ln(l)=∑i=1n{yiln(P(yi|xi))+(1−yi)ln(1−P(yi|xi))}
最大似然估计量就是微分方程
dL′(β)/dβ=0
将式进行推导,得到下列方程组
∑i=1n(yi−P(yi|xi))=0∑i=1nxi(yi−P(yi|xi))=0