代价函数(一)(二)

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/up_XCY/article/details/86299608

在回归算法中用字母表示特定的意义:
m = 训练样本的数量。
x = 输入变量(特征)
y = 输出变量
(x,y) = 一个训练样本
(x^(i),y^(i))= 第i个训练样本

本节假定theta_0 = 0以解释代价函数的作用
对给定的theta_1,h(x)是对x的函数
J(theta_1)是关于参数的函数
最小化J使得theta_1能够使hx预测值更加准确

这里可以看到我们把左边的假设函数简化使得θ0的值为0,这样可以简单的去解释J(θ1)只关于一个变量θ1的函数关系。

这里我们给定三个函数值(1,1)(2,2)(3,3),分别让θ1等于1,0.5,0等等一系列的数,从而得出J(θ1)的函数关系图。从右边的图像中可以看到最小的J(θ1)的值是当θ1等于1的时候的函数值0.这也是最接近实际值的假设函数的θ1的值。

代价函数(二)

先回顾一下之前学习的几个概念:假设函数、参数、代价函数、目标函数。如下:

这里我们不再让θ0的为0,从而我们有两个变量值即θ1和θ0,代价函数为J(θ0,θ1)

上一节只有一个参数θ1,我们得到的代价函数是一个碗状的二次函数图像,这里我们的参数有两个J(θ0,θ1),我们得到的假设函数也是一个碗状的图像。不过是三维的,我们也可以用等高线来描述。

(等高线:对于函数J(theta1,theta2),同一条等高线上的代价函数J的值相等。)

                                 3D描述

  看上图的右边的3个红叉,他们表示的代价函数的值相同。让我们再看看分别几个不同的(θ0,θ1)所得到的J的图像

可以看到我们得到的几个代价函数J(θ0,θ1)的值距离中心的距离有近有远,最后一组得到的距离中心最近即我们最小代价函数。

学习算法的优化目标是通过选择sita1的值,获得最小的J(sita1)的值,这就是线性回归的目标函数

逐渐靠近中心,最后只有一个点,这个时候损失值是最小的,也就是这个时候theta是最优的

猜你喜欢

转载自blog.csdn.net/up_XCY/article/details/86299608