学校给我们一人赞助了100美元购买英文原版图书，几方打听后选择了PRML 即Pattern Recognition and Machine Learning。自从拆封这本书开始慢慢的品读，经常会有相见恨晚之感。虽然目前我只是慢慢地阅读了前几个小节，也知道后面的章节会越来越晦涩，但是还是下定决心一定要把这本书弄透彻。这篇文章是在阅读引章：曲线拟合时发现的问题。想记录下来学到的两个点，并对一道课后习题作解析。

　　第一节是曲线拟合，曲线拟合是深度学习问题中的regression问题，即回归问题。其他的问题据我了解还有classification问题，即分类问题和clustering问题，即聚类问题。regression问题很显然是一个有监督学习。给你一系列点x，再给你一系列这些点对应的target，我们的目标是找到一个函数使得target和我们预测的x之间的误差最小。

　　在这一节是以一个正弦函数为例，给出正弦曲线上加上了随机误差的一系列点。我们选择多项式拟合polynomial fitting：$$y(x,\textbf{w})=w_0+w_{1}x+w_{2}x^{2}+\cdots+w_{M}x^{M}=\sum_{j=0}^M w_j x^j$$

　　现在我们要解决的问题有三个：

　　1.什么叫误差？既然我们的目标是让误差最小，那么误差函数error function(或者是loss function?)应该长什么样？

　　2.有了误差函数，怎么样确定多项式的系数coefficients来使得误差函数最小。

　　3.多项式的次数order应该怎么选择？

　　下面一一进行解答：

　　1.首先我们选用了一类简单而且广泛被使用的error function--MSE。我们的目标是最小化以下的目标error function(MSE):$$E(\textbf{w})=\frac{1}{2} \sum_{n=1}^{N} \left\{y(x_n ,\textbf{w})-t_n \right\}^2$$