这类博文的主要目的是对回归任务的相关算法做一个总结,也根据自己学习的历程来写。
首先,根据目前所学,大致可以分为线性回归模型与非线性回归两类,如下所示。
线性回归
基于最小二乘(OLS)的简单回归;多变量回归等等
基于特征子集的 最优子集法,向前选择法,逐步回归,最小角回归等等
基于特征成分分析的 偏最小二乘,主成分回归;
基于特征缩减的 lasso, 岭回归。
非线性回归
对非线性模型的线性化(转换原始特征空间,得到新的特征空间);
kernel平滑方法(对局部的平滑性约束,类似最近邻类方法);
可加模型,树模型;
扫描二维码关注公众号,回复:
6264200 查看本文章
神经网络模型