分类与回归的区别与联系

联系

回归与分类的本质联系是都要建立映射关系
\(f(x) \rightarrow y, x \in A, y \in B\)

区别

回归与分类的根本区别在于输出空间是否为一个度量空间

对于回归问题，其输出空间B是一个度量空间，即所谓“定量”。也就是说，回归问题的输出空间定义了一个度量\(d=F\left(y_{t r u e}, y_{p r e d}\right)\)去衡量输出值与真实值之间的“误差大小”。例如：预测一瓶700毫升的可乐的价格（真实价格为5元）为6元时，误差为1；预测其为7元时，误差为2。这两个预测结果是不一样的，是有度量定义来衡量这种“不一样”的。（于是有了均方误差这类误差函数）。

对于分类问题，其输出空间B不是度量空间，即所谓“定性”。也就是说，在分类问题中，只有分类“正确”与“错误”之分，至于错误时是将Class 5分到Class 6,还是Class 7，并没有区别，都是在error counter上+1

一图以概之

总结

拿支持向量机举个例子，分类问题和回归问题都要根据训练样本找到一个实值函数g(x).
回归问题的要求是：给定一个新的模式，根据训练集推断它所对应的输出y（实数）是多少。也就是使用y=g(x)来推断任一输入x所对应的输出值。
分类问题是：给定一个新的模式，根据训练集推断它所对应的类别（如：+1，-1）。也就是使用y=sign(g(x))来推断任一输入x所对应的类别。
综上，回归问题和分类问题的本质一样，不同仅在于他们的输出的取值范围不同。
分类问题中，输出只允许取两个值；
而在回归问题中，输出可取任意实数

一个好玩的栗子
通过人物照片来判断一个人是不是胖子？（这是一个分类问题：是胖子或不是胖子）
通过人物照片来判断一个人有多重？（这是一个回归问题：高文欣看起来是100kg）