一般的线性回归是由 $(x_1,x_2,...,x_n)$预测 $y$，损失函数采用均方差函数
$MSE=\frac{1}{m}\sum_{i=1}^{n}\left\|\hat{y} ^2-y^2\right\|^2$。
想象输入同样的X，预测值 $\hat{y} ^2$有很多个。输入同样的X，普通线性回归的预测值只有一个，这里假设预测值服从某个分布。这里采用 $p(y|X)$表示 $y$出现的概率。
线性回归函数为
$y=\theta^Tx+\epsilon$
假设 $p(y|X)$服从正态分布，即
$p(y|X)=N(y;0,\sigma^2)$，
也即
$\epsilon\sim{N(y;0,\sigma^2)}$，
似然函数为
$L(\theta)=\prod_{i=1}^{m}p(\epsilon) =\prod_{i=1}^{m}\frac{1}{\sqrt {2\pi}\sigma}e^{-\frac{\epsilon^2}{2\sigma^2}}$
$=(\frac{1}{\sqrt{2\pi}\sigma})^{m}e^{-\sum{_{i=1}^{m}\frac{\epsilon^2}{2\sigma^2}}}$
取对数可以得到
$lnL(\theta)=-mln(\sqrt{2\pi})-mln(\sigma)-\sum_{i=1}^{m}\frac{\epsilon^2}{2\sigma^2}$

$=-\frac{m}{2}ln(2\pi)-mln(\sigma)-\frac{1}{2\sigma^2}\sum_{i=1}^{m}(y-\theta^{T}X)$
由上式可以看出，利用极大似然估计得出的对数似然函数与均方差相似，最大化对数似然与最小化均方差会得到相同的参数。