[Machine Learning]吴恩达机器学习笔记 六——Logistic 回归

1、分类 Classification

 

2、假设陈述 

sigmoid function = logistic function 

假设函数的表示方法:

3、决策界限 Decision boundary 

决策界限是假设函数的属性,它取决于假设函数本身以及其参数θ,而不是数据集的属性。训练集是用来拟合参数θ的。

 

4、代价函数

在logistic regression中,如果使用了平方代价函数,很可能因为假设函数中包含的sigmoid函数的非线性而导致代价函数呈现为凹非凸函数(non-convex),所以很难找到全局的最优值。因此,我们需要替换另一种代价函数,使得代价函数呈现为凸函数(convex),从而利用梯度下降算法能够找到全局最优值

 

5、简化代价函数与梯度下降

上图中的代价函数,是从统计学中使用极大似然法得到的,能够为不同模型快速寻找到参数的方法,并且是凸函数,因此是大部分人用来拟合逻辑回归模型的代价函数。 

线性回归与逻辑回归的代价函数看起来是一样的,但是实际上,它们的假设函数是不相同的,这里需要特别注意。在线性回归中,假设函数是θ转置*x,而逻辑回归中,假设函数包含了sigmoid函数。

 

6、高级优化

更多的高级优化的算法,如Conjugate gradient, BFGS, L-BFGS ,它们相较于梯度下降算法的优势在于不需要手动选择学习率, 并且能够运行的更快,但是这些算法理解起来会更复杂些。

 7、多元分类 Muti-class classification:一对多 

Muti-class classification: one-vs-all

猜你喜欢

转载自blog.csdn.net/weixin_44566432/article/details/107789300