分类问题
在进行(例如肿瘤良性与否的判断)分类问题时,因结果之间具有明确的界限,我们往往采用0,1,2,3…等等来表示预测值。这时线性回归无法达到最优需求,因此我们引入了logistic回归算法来进行分类问题的求解。
我们在希望假设函数的值与预测范围较为吻合,因此定义了logistic回归。
假设函数展示
函数模型
引入(exp)指数函数进行需求拟合。
输出意义
logistic回归模型的h(x)实际上代表着positive result(该例情况下)的概率。
模型的决策边界
我们假设当预测值h(x)>=0.5时判断为positive result,则对特征值和参数的向量积进行大小判断。我们通过假设值进行了结果的判定,从而的得出了一条决策边界。
logistic回归中的代价函数
在logistic回归中,因为g(z)中包含了exp项,代价函数将呈现非凸性,我们将代价函数中的一项更改为一个新的Cost(x,x)进行替代。
Cost()的值代表了在不同给的的实际分类情况下(0,1),h(x)的运算值在不同程度下产生的代价量。例如在y=1时,h(x)趋于1时代价为0,在趋于0是代价急剧上升乃至无穷大。y=0的情况可推导而出。
简化代价函数和梯度下降
可将Cost()简化成一式,如图中所示。
注意区别线性回归和logistic回归中梯度下降式中h(x)的区别。
高级优化
相较于梯度下降算法,数学家们已经给出了许多更为高效合理的算法模型,图中的引用将在后续作业中实践体会。
多元分类:one vs rest
在对每一个实际值进行可能估算时将剩下的结果共为一类,进行0-1-2-3到0-1的转变,并对每种实际值遍历,得到最大的h(x)值,即最为可靠的结果。