问题描述
对于维度为
特征为
样本的二分类问题,有负类(Negative Class)记为
,正类(Positive Class)记为
,即对于类别
,有
我们期望找到一个 ,使得
其中, 为待优化的参数,使得在对未知类别的样本 分类时,
为样本为正类的概率。即分类准则如下:
Logistic回归
在线性回归(Linear Regression)中,我们常找一组参数
计算
设置阈值 ,通过 与 的大小关系判断正负类。
而在Logistic回归中,我们引入Sigmoid函数
其图像如下
Logistic回归取hypothesis function为
即 等价于正类的概率,由Sigmoid函数图像可知,当 时,判定为正类,当 时,判定为负类。
代价函数(cost function)
与线性回归问题类似,Logistic同样需要定义代价函数使用梯度下降法优化参数
由于Sigmoid函数的使用,若使用与线性回归相同的二次损失函数,优化问题将变为非凸问题,即可能存在很多局部最优解。Logistic回归采用以下损失函数
为了方便计算,将分段损失函数改写为如下形式
优化目标
对于样本数目为
的训练集,定义目标函数为
优化目标为:找到令 最小的 .
算法描述
:
其中, 为梯度下降法的学习率.
优化算法列举
1)Gradient descent
2)Conjugate gradient
3)BFGS
4)L-BFGS
利用Octave实现Logistic回归
Octave是一种高层解释类编程语言,旨在解决线性和非线性的数值计算问题。Octave为GNU项目下的开源软件,早期版本为命令行交互方式,4.0.0版本发布基于QT编写的GUI交互界面。Octave语法与Matlab语法非常接近,可以很容易的将matlab程序移植到Octave。同时与C++,QT等接口较Matlab更加方便。
注:Octave与Matlab语法类似,下标从1开始。
例子:
代码:
定义函数,给出优化目标及对应的梯度,初始化梯度
function [jVal, gradient] = costFunction(theta)
jVal = (theta(1)-1)^2 + (theta(2)-1)^2;
gradient = zeros(2,1)
gradient(1) = 2 * (theta(1)-1);
gradient(2) = 2 * (theta(2)-1);
endfunction
设定option,设置梯度目标参数为打开,最大迭代次数为100,并初始化 .
options = optimset('GradObj', 'on', 'MaxIter','100')
initialTheta = zeros(2,1)
调用fminunc这个函数,传入三个参数,其中第一个参数@costFunction这里的@符号代表指向之前我们定义的costFunction函数的指针。后面两个参数分别是我们定义的thetatheta初始值和配置信息options。它会自动的从众多高级优化算法中挑选一个来使用。
[optTheta, functionVal, exitFlag]=...
fminunc(@costFunction, initialTheta, options)
输出结果
即
,
,
表明已经收敛.
注:本文内容为网易云课堂吴恩达机器学习视频学习时的记录的笔记,仅做学习使用,笔者对OCTAVE首次接触,仅仅实现了课堂上的例子。如有错误,欢迎联系笔者。