斯坦福机器学习笔记：梯度下降法

其他 2018-06-25 17:53:17 阅读次数: 2

关于梯度下降法，很多笔记上都有，本次只记录自己在学习中遇到的问题，及自己的理解。对梯度下降法总体的理解可以参考线性规划、梯度下降、正规方程组——斯坦福ML公开课笔记1-2

关于样本数与特征数目的关系

学习线性回归的时候，假设遇到如下问题，对房屋的大小和价格需要进行一下线性拟合：
这里写图片描述

假设拟合函数为：

h x = θ 0 + θ 1 x

$h_x=\theta_0+\theta_1x$
这里对应的样本(x,y)可以只取一组，对应的解（

θ0，θ1 $\theta_0 ，\theta_1$ ）存在多组解。使用梯度下降法可以找到其中的一组解（需要仔细调整步长

α $\alpha$ ，否则无法达到收敛值）。
也就是说，在用梯度下降法时，样本数与拟合参数的数目无关。

关于梯度下降法步长与方向

假设cost Function为 $J(\theta)$ ，这里只有一个参数 $\theta$ 。参数每一步更新值为

θ : = θ - α (\partial \partial θ J)

$\theta:=\theta-\alpha(\frac{\partial }{\partial\theta}J)$
其中 $(\frac{\partial }{\partial\theta}J)$ 只是起到一个正负号的作用，用来判断新的 $\theta$ 值的方向。

参考

深入梯度下降(Gradient Descent)算法

猜你喜欢

转载自blog.csdn.net/jayandchuxu/article/details/75137516

斯坦福机器学习笔记：梯度下降法

斯坦福机器学习笔记9——偏差

斯坦福机器学习笔记-Lecture 1，2

[斯坦福大学2014机器学习教程笔记]第四章-多元梯度下降法演练Ⅱ：学习率

斯坦福机器学习课程汇总

斯坦福大学机器学习笔记——多变量的线性回归以及梯度下降法注意事项（内有代码）

斯坦福大学机器学习笔记——单变量的线性回归以及损失函数和梯度下降法（包含代码）

机器学习笔记之梯度下降法

[机器学习笔记] 梯度下降法

机器学习梯度下降法笔记

斯坦福Andrew Ng---机器学习笔记（一）：梯度下降

斯坦福CS229机器学习课程笔记一：线性回归与梯度下降算法

[机器学习]—梯度下降法

机器学习——梯度下降法

机器学习--梯度下降法

【机器学习】梯度下降法

斯坦福机器学习笔记（二）——Logistic回归和广义线性模型

斯坦福机器学习笔记（一）——线性回归与局部加权回归

斯坦福机器学习笔记（三）—— 高斯判别分析

斯坦福机器学习笔记（七）——高斯混合模型与EM算法

斯坦福机器学习笔记（六）——K-Means聚类算法

斯坦福机器学习公开课笔记一 --单变量线性回归

cs229 斯坦福机器学习笔记（一）-- 入门与LR模型

斯坦福机器学习4-5

斯坦福机器学习6-7

斯坦福机器学习1-3

斯坦福机器学习课件NOTE1总结

斯坦福机器学习3之Logistic建模

斯坦福CS229机器学习笔记-Lecture2-线性回归+梯度下降+正规方程组

[斯坦福大学2014机器学习教程笔记]第二章-梯度下降线性回归

今日推荐

周排行

成为C++高手之宏与枚举

在CAD二次开发中使用进度条

Js插件ECharts，HighCharts学习网址整理

Celery提交任务出错(on windows.)

cephfs内核客户端性能追踪

thinkphp中PHPExcel用法

EntityFramework动态组合多排序字段

汇编语言（八）实验9 根据材料编程

安装ubuntu后必须做的事情（对我而言）

JS函数式编程

每日归档

更多

2024-10-22(0)

2024-10-21(0)

2024-10-20(0)

2024-10-19(0)

2024-10-18(0)

2024-10-17(0)

2024-10-16(0)

2024-10-15(0)

2024-10-14(0)

2024-10-13(0)