简单回归案例
梯度下降算法
迭代,求导,算极值。
x′=x−x∗∗lr
x′为新值,
x∗为梯度(导数),
lr为学习率,设小一点,慢慢的逼近最优解。
梯度下降的求解器,加了约束,导致求解过程变得更快,最优解的精度变高,目前用的最多的有原始版本的sgd,还有rmsprop,以及最常用的Adam。
y=w∗x+b
1.567=w∗1+b
3.043=w∗2+b
w=1.477
b=0.089
实际工作中,只能求得最接近
y的
w∗x+b。
有高斯噪声时,
y=w∗x+b+ε
ε∈N(0.01,1)
求解
loss=(WX+b−y)2
W、
X均为矩阵。
loss函数为我们构造的优化目标。
求得合适的
W和
b使
loss值最小,预估
xN、
yN。
loss=i∑(w∗xi+b−yi)2