统计学习笔记5

感知机

定义:假设输入空间(特征空间)是X,输出空间是Y={+1,-1};输入x表示实例的特征向量,对应输入空间上的一点;输出y表示实例的类别;由输入空间到输出空间的如下函数:f(x)=sign(w*x+b)称为感知机;其中,w叫作权值或权值向量,b叫作偏置

感知机是一种线性分类模型,属于判别模型;其假设空间是定义在特征空间上的所有线性分类模型或线性分类器,即函数集合{f | f(x)=w*x+b}

感知机的几何解释:线性方程"w*x+b"对应于特征空间的一个超平面,其中w为超平面的法向量,b为超平面的截距;求解感知机模型即为求解w与b

感知机学习策略

数据集的线性可分性:如果存在一个超平面S,可将数据集的所有正实例点与负实例点完全正确的分类在超平面两侧,则称该数据集线性可分

定义损失函数:
在这里插入图片描述
在这里插入图片描述
感知机学习算法是误分类驱动的,具体采用随机梯度下降法:
在这里插入图片描述
在这里插入图片描述
感知机学习的对偶形式:
在这里插入图片描述
在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/weixin_43264420/article/details/83864922