1、线性回归
2、梯度
3、正规方程组
1、线性回归
2、梯度(最小二乘法)
(1)批量梯度下降
每一次迭代,都要用到所有样本,因此,当样本量很大时,这个方法很难求。提出随机梯度下降。
(2)随机梯度下降/增量梯度下降
每次迭代只用一个样本,这样得到的结果可能是局部最优解,或者无限逼近全局最优解。但大部分情况下,局部最优解/逼近全局最优解已经可以满足条件。
3、正规方程组
1、线性回归
2、梯度
3、正规方程组
1、线性回归
2、梯度(最小二乘法)
(1)批量梯度下降
每一次迭代,都要用到所有样本,因此,当样本量很大时,这个方法很难求。提出随机梯度下降。
(2)随机梯度下降/增量梯度下降
每次迭代只用一个样本,这样得到的结果可能是局部最优解,或者无限逼近全局最优解。但大部分情况下,局部最优解/逼近全局最优解已经可以满足条件。
3、正规方程组