转https://blog.csdn.net/a1628864705/article/details/62233395
一是: sigmod 本身的性质。 二是:之所以LR 用sigmod,不是因为LR 选择了 sigmod ,而是用 指数簇分布和 最大熵原理 推导出来的形式,就是这个样子,后来起名叫sigmod
sigmoid 函数
上图为sigmoid函数的形式
选择sigmoid 的原因想从两方面来说:
1、 Sigmoid 函数自身的性质
sigmoid 函数连续,单调递增
sigmiod 函数关于(0,0.5) 中心对称
对sigmoid函数求导
p=ex1+ex
p=ex1+ex
p′=p∗(1−p)
p′=p∗(1−p)
计算sigmoid函数的导数非常的快速
2、指数族
逻辑回归的损失函数非指数族,形势为:
p(y;η)=b(y)exp(ηTT(y)−α(η))
p(y;η)=b(y)exp(ηTT(y)−α(η))
逻辑回归认为函数其概率服从伯努利分布,将其写成指数族分布的形式,也就是:
T(y)=y
T(y)=y
α(η)=−log(1−ϕ)
α(η)=−log(1−ϕ)
b(y)=1
b(y)=1
能够推导出sigmoid函数的形式。
η=log(ϕ1−ϕ)
η=log(ϕ1−ϕ)
ϕ=eη1+eη
ϕ=eη1+eη
也就推出了sigmid函数的形式
程序员转型首选的编程语言是什么?
好学、好用、高薪的Python学习路线免费领取!
qq_34027917: 其实作者的意思有两个: 一是: sigmod 本身的性质。 二是:之所以LR 用sigmod,不是因为LR 选择了 sigmod ,而是用 指数簇分布和 最大熵原理 推导出来的形式,就是这个样子,后来起名叫sigmod
---------------------
作者:夜晓楼
来源:CSDN
原文:https://blog.csdn.net/a1628864705/article/details/62233395
版权声明:本文为博主原创文章,转载请附上博文链接!