欢迎关注哈希大数据微信公众号《哈希大数据》
昨天介绍了看图学机器学习的前五个，今天我们继续学习！！！
6. Basis functions（基础函数）
非线性基础函数是如何将没有线性边界的低维分类问题转化为具有线性边界的高维分类问题。Andrew Moore的支持向量机SVM(Support Vector Machine)教程幻灯片中有：一个单维度的非线性带有输入x的分类问题转化为一个2维的线性可分的z=(x,x^2)问题。
7. Discriminative vs. Generative（判别性vs生成性）
为什么判别式学习比生成式学习更加简单：
PRML
下图这两类方法的分类条件的密度举例，有一个单一的输入变量
x
（左图），给出相应的后验概率（右图）。注意到在在左图中以蓝色线条表示的分类条件密度
p(x|C1)
的模式，对后验概率没有影响，咱们去检验其真实概率分布比较困难，但基于右图直接配别其分类还是比较简单的。右图中垂直的绿线展示了
x
中的决策边界，它给出了最小的误判率，在绿线左侧属于
C1
在绿线右侧属于
C2
。
8. Loss functions（损失函数）
学习算法可以被视为用来优化不同的损失函数的，
PRML
下图中用蓝色线条表示应用于支持向量机中的
“
铰链
”
错误函数图形，逻辑回归中的误差函数被用
1/ln(2)
进行放缩来重新调整，使它能通过点（
0
，
1
），以红色线条表示。黑色线条表示误分，均方误差以绿色线条表示。
9.Geometry of least squares（最小二乘的空间原理）
ESL
下图是利用二维空间的最小二乘回归对
N
维空间预测的几何原理图。真实向量
y
正交投影到被输入向量
x1
和
x2
所跨越的超平面上，投影
y^
代表了最小二乘预测的向量。
10.Sparsity（稀疏性）
为什么
Lasso
算法（
L1
正规化或者拉普拉斯先验）给出了稀疏的解决方案（比如：很多特征的权重为
0
）：
ESL
下图中左边是
lasso
算法的判断函数图，右侧是岭回归算法的判断函数图。展示了误差函数的等值线以及约束函数。当红色椭圆是最小二乘误差函数的等值线时，实心的蓝色区域是约束区域
|β1| + |β2| ≤ t
以及
β12+ β22≤ t2
。由下图可以看出
lasso
算法得到的解并非最优解，但其确实能起到降维的作用左图中最终结果
β1=0
，
β2
是一个不为零的值，岭回归算法得到的
β1
虽然不为
0
但也很小，所以
β1
对应的变量变化对结果影响也非常有限，起到了降维的作用。
原文链接：http://www.denizyuret.com/2014/02/machine-learning-in-5-pictures.html（需要科学上网）