科技界也有统一诉求——线性回归和逻辑斯蒂回归求导表达式统一
线性回归函数求导
模型:hθ(xi)=θ1xi1+θ2xi2+......+θjxij=θTxi损失函数:J(θ)=2m1i=1∑m(hθ(xi)−yi)2求导(复合函数求导链式法则):∂θj∂J(θ)=2×[2m1i=1∑m(hθ(xi)−yi)]×[xij]=m1i=1∑m(hθ(xi)−yi)xij[(预测值−实际值)×xij]的期望
logistics函数求导
返回顶部
sigmoid函数:g(z)=1+e−z1sigmoid求导:∂z∂g(z)=−(1+e−z)2e−z×(−1)=(1+e−z)2e−z=g(z)×(1−g(z))模型:hθ(xi)=g(θTxi)=1+e−θTxi1损失函数:J(θ)=−m1i=1∑m(yilog(hθ(xi))+(1−yi)log(1−hθ(xi)))或者:J(θ)=−m1i=1∑m(yilog(g(z))+(1−yi)log(1−g(z)))(其中:∂g(z)∂J(θ)=−m1i=1∑m(g(z)yi+1−g(z)1−yi×(−1))=−m1i=1∑mg(z)×(1−g(z))yi−g(z))
复合函数链式求导 :
∂θj∂J(θ)=∂g(z)∂J(θ)×∂z∂g(z)×∂θj∂z=[−m1i=1∑mg(z)×(1−g(z))yi−g(z)]×[g(z)×(1−g(z))]×[−xij]=m1i=1∑m(g(z)−yi)xij=m1i=1∑m(hθ(xi)−yi)xij[(预测值−实际值)×xij]的期望
sigmoid函数是logistics单分类问题,softmax函数是logistics多分类问题。
softmax:hθ(x(i))=⎣⎢⎢⎢⎢⎢⎢⎡p(y(i)=1∣x(i);θ)p(y(i)=2∣x(i);θ)...p(y(i)=k∣x(i);θ)⎦⎥⎥⎥⎥⎥⎥⎤=∑j=1keθjTx(i)1⎣⎢⎢⎢⎢⎢⎢⎢⎡eθ1Tx(i)eθ2Tx(i)...eθkTx(i)⎦⎥⎥⎥⎥⎥⎥⎥⎤
结论:
机器学习中线性回归和logistics回归的损失函数求导结果,均为:
m1i=1∑m(hθ(xi)−yi)xij[(预测值−实际值)×xij]的期望
形式上统一!
码砖不忘忧国!
望两岸早日实现实质统一!
欢迎关注,敬请点赞!
返回顶部