Model and Cost Function
Model Representation
- 监督学习
给出了训练集的正确答案- 回归问题
预测准确的输出值 - 分类问题
进行0/1的分类
- 回归问题
Notation:
m = 训练样本个数
x's = 输入变量/特征
y's = 输出变量/目标变量
(x,y) = 一个训练样本(上标表示第i个)
h = 假设(hypothesis)
= 线性回归模型,其中的θi为模型参数
- 代价方程(如何选择模型参数)
应该满足hθ(x)尽可能接近y,即解决(hθ(x) - y)^2的最小化问题,即1/2m的平方误差和最小。
由此得到的代价函数
Parameter Learning
- 梯度下降算法
其过程为
α为学习速率,决定了更新模型参数的速率。α过低会导致梯度下降过慢,而过大则可能导致无法收敛甚至发散。 - 应用于线性回归问题