(1, 5.5)
(1.5, 7)
(2, 6.5)

我们怎样能够预测一个未知的自变量 $\mathrm{x=3x=3 会对应什么样的因变量 yy 呢？也就是说， x=3x=3 时 y=?y=?显然我们的任务就是计算出两个未知参数 aa 和 bb 的值，有了这两个值，那么任意给定一个 xx ，我们都能通过函数 y=ax+by=ax+b 计算出 yy 的值了，这就是所谓的“预测”。文章来源：http://www.codelast.com/Logistic\; Regression也是类似，我们有一个函数 y=f(X)y=f(X) ，里面包含若干个未知参数 \theta 0,\theta 1,\theta 2,\cdots ,\theta n\theta 0,\theta 1,\theta 2,\cdots ,\theta n 。由于现实世界是复杂的，因变量 yy 通常会跟很多因素（自变量 xx ）有关系，即 x0,x1,x2,\cdots ,xnx0,x1,x2,\cdots ,xn ，所以这里自变量是一个向量，这里用大写的 XX 来表示。同理，那一堆未知的参数也是一个向量，用一个字母 \theta \theta 来表示。现在给我们一堆 (x,y)(x,y) 的历史数据，我们要想办法计算出所有未知参数的值，然后就可以拿来预测新的 xx 值所对应的 yy 值了。但是这个函数是什么呢？如下：f(X)=11+e-\theta TXf(X)=11+e-\theta TX \dots \dots （1）其中， \theta \theta 是参数向量， XX 是自变量（向量）。文章来源：http://www.codelast.com/那么，这个略显奇怪的函数是怎么来的呢？首先我们看 \theta TX\theta TX 这部分：这是参数向量与自变量（向量）的点积，这个式子想要表达的含义是：计算某个事件发生的可能性，可以把跟这个事件相关的所有特征加权求和。例如，要求今天下雨的可能性，可以把今天所有和下雨相关的概率加权求和，例如梅雨季节权重为9（每天都很可能下雨），有台风经过权重为6，等等，每一个因素都影响着“下雨的可能性”，即：s=n\sum i=0\theta ixi=\theta 0x0+\theta 1x1+\cdots +\theta nxn=\theta TXs=\sum i=0n\theta ixi=\theta 0x0+\theta 1x1+\cdots +\theta nxn=\theta TX但是这个加权求和的结果是在 (-\infty ,+\infty )(-\infty ,+\infty ) 范围内的，为了能表示预测的概率，我们希望把输出值限制在 (0,1)(0,1) 之间，而不是 (-\infty ,+\infty ) 。所以，这时，逻辑函数就出场了。(-\infty ,+\infty )}$

在各种机器学习的文章中，你都会看到，它们给了逻辑函数一个常用的名字：Sigmoid函数。sigmoid，意为“S形的”，这正符合其函数图像特点，所以大家记住就行了。
文章来源：http://www.codelast.com/
现在，我们已经有了函数，下一步任务就是求出函数表达式中的未知参数向量 $\mathrm{\theta \theta 了。这个过程是机器学习中最为核心的计算步骤。以前面讲过的函数 y=ax+by=ax+b 为例：你会发现，当已知几组 (x,y)(x,y) 数据的情况下：}$

(1, 5.5)
(1.5, 7)
(2, 6.5)

你无论如何也不可能找到一对 $\mathrm{aa 和 bb 的值，使得以上3组数据能精确地满足方程 y=ax+by=ax+b ，正如下面的图像所示：}$

这条直线如果要精确地通过其中的两个点，那么就不能通过第三个点。所以，最终求出来的  $\mathrm{aa 和 bb 的值，并不是方程的解析解，而是“最优解”。因此，问题在于，我们如何画一条直线，使得其是“最优”的？“最优”的评判标准是什么？文章来源：http://www.codelast.com/为了理解“最优”，我们需要先了解一些概念。}$

• 损失函数／Loss Function／代价函数／Cost Function

这些都是人们的经验总结，当然，说每一种损失函数常用于什么机器学习算法，也都是有数学依据的。但是在这里，我们讲的是Logistic Regression，所以只看对数损失函数。对数损失函数通常用于衡量分类器（classifier）的精度，这里的“分类器”也就是指机器学习的模型，它对每一个类别输出一个概率值。从前面的文章中，我们已经知道了，逻辑回归就是这样一种分类器，所以才用对数损失函数来衡量其精度。
有时候，对数损失函数（Log Loss）也被叫作交叉熵损失函数（Cross-entropy Loss）。交叉熵这个名字比较拗口，在信息理论中，熵用于衡量某种事件的“不可预测性”，而交叉熵=事件的真实分布+不可预测性，所以交叉熵可以用于度量两个概率分布（真实分布&预测分布）之间的差异性，即：交叉熵损失函数（对数损失函数）可以衡量一个模型对真实值带来的额外噪音，通过最小化交叉熵损失函数（对数损失函数），我们就可以最大化分类器（模型）的精度。
上面这一大段话试图用简单的描述让你相信，为什么要用Log Loss来衡量Logistic Regression的误差，但是没有给出证明。有人可能会说，为什么不能用其他的方法来衡量，例如用平方损失函数（Square Loss）。事实上，这是有数学依据的——它会导致损失函数是一个关于参数向量 $\mathrm{\theta \theta 的非凸函数，而用对数损失函数就没有这种问题。凸函数的性质为我们后面求解参数向量 \theta \theta 提供了极大便利，非凸函数有很多局部最优解，不利于求解 \theta \theta 的计算过程。文章来源：http://www.codelast.com/到这里为止，我们还是没有提到损失函数的数学表达式，但是如果要计算损失函数的值，我们是回避不了的，必须要知道。所以，这里用\; L\; 来表示损失函数（取Loss之意），则对数损失函数的表达式为：L=-1nn\sum i=1[yilog(^yi)+(1-yi)log(1-^yi)]L=-1n\sum i=1n[yilog(y^i)+(1-yi)log(1-y^i)] ......（2）其中， yiyi 是第i个真实值（ yi\in \{0,1\}yi\in \{0,1\} ）， ^yiy^i 是第i个预测值。这个对数损失函数的表达式中并没有出现我们要求解的参数 \theta \theta ，所以我们把 ^y=f(X)=11+e-\theta TXy^=f(X)=11+e-\theta TX 代到（2）式中去：L=-1Nn\sum i=1[yilog(11+e-\theta TXi)+(1-yi)log(1-11+e-\theta TXi)]L=-1N\sum i=1n[yilog(11+e-\theta TXi)+(1-yi)log(1-11+e-\theta TXi)]再来仔细看一下这个式子：N\; 为数据集的条数（有多少组 (X,y)(X,y) ，N就是多少），已知； yi 是真实值，已知； yiXi 是输入的向量，也已知。所以整个式子里只有 Xi\theta 是未知的，可以记为 \theta L(\theta ) ，称之为目标函数：L(\theta )L(\theta )=-1Nn\sum i=1[yilog(11+e-\theta TXi)+(1-yi)log(1-11+e-\theta TXi)]因此，我们只要找到一个参数向量 L(\theta )=-1N\sum i=1n[yilog(11+e-\theta TXi)+(1-yi)log(1-11+e-\theta TXi)]\theta ，能使得此式的值最小，那么这个参数向量 \theta \theta 就是“最优”的参数向量。求得了这个最优的 \theta \theta 之后，把它代入式（1），则对任一个未知的 \theta X ，我们都可以计算出 Xf(X) 值，然后再根据一个阈值把它调整到\; 0\; 或\; 1，就得到了这个 f(X)X 所属的分类，这样，我们就完成了一次“预测”的过程。文章来源：Xhttp://www.codelast.com/}$

事实上，在现在各种机器学习library百花齐放的今天，我们基本上不需要自己编写这些算法的具体实现，只需要调用它们即可。例如，通过Spark的Machine Learning Library (MLlib)，我们可以直接使用Stochastic gradient descent (SGD)，Limited-memory BFGS (L-BFGS)等实现。但是对这背后的原理有所了解，对工作学习是有帮助的。