K近邻
k-NN算法可以说是最简单的机器学习算法。构建模型只需要保存训练数据集即可,想要对新数据点做出预测,算法会在训练数据集中找到最近的数据点,也就是它的最近邻
1、k近邻分类
k-NN算法最简单的版本只考虑一个最近邻,也就是与我们想要预测的数据点最近的训练数据点。预测结果就是这个训练数据点的已知输出。
k近邻算法的应用,首先数据分为训练集和测试集,以便评估泛化性能
from sklearn.model_selection import train_test_split
X,y=mglearn.datasets.make_forge()
X_train,X_test,y_train,y_test = train_test_split(X,y,random_state=0)
然后,导入类并将其实例化,设定邻居个数,此处设为1
from sklearn.neighbors import KNeighborsClassifier
clf=KNeighborsClassifier(n_neighbors=1)
利用训练集对这个分类器进行拟合,对KNeighborsClassifier来说就是保存数据集,以便在预测时计算与邻居之间的距离,之前提到过,fit()方法是基于训练集构建模型
clf.fit(X_train,y_train)
调用predict方法来对测试数据进行预测,对于测试集中的每个数据点,都要计算它在训练集的最近邻,然后找出其中出现次数最多的类别
print("Test set prediction:{}".format(clf.predict(X_test)))
Test set prediction:[1,0,1,0,1,0,0]
为了评估模型的泛化能力好坏,我们可以对测试数据和测试标签调用score方法
print("Test set accuracy:{:.2f}".format(clf.score(X_test,y_test)))
Test set accuracy:0.86
模型精度约为86%,在测试数据集中,模型对其中86%的样本预测的类别是正确的
2、分析KNeighborsClassifier
对于二维数据集,我们可以在xy平面上画出所有可能的测试点的预测结果。根据平面中每个点所属的类别对平面进行着色,这样可以查看决策边界,就是算法对类别0和类别1的分界线
例中显示的1个,3个,9个邻居三种情况的决策边界可视化
import mglearn
import matplotlib.pyplot as plt
from sklearn.neighbors import KNeighborsClassifier
fig,axes=plt.subplots(1,3,figsize=(10,3))
for n_neighbors,ax in zip([1,3,9],axes):
clf=KNeighborsClassifier(n_neighbors=n_neighbors).fit(X,y)
mglearn.plots.plot_2d_separator(clf,X,fill=True,eps=.5,ax=ax,alpha=.4)
mglearn.discrete_scatter(X[:,0],X[:,1],y,ax=ax)
axes[0].legend(loc=3)
fig 表示图像,axes 表示子区域
plt.subplots(x,y,figsize(m,n)) 便与绘图
x表示行,y表示列,figsize表示图像大小,制定宽度和高度,默认英寸。例中表示1行三列,图像大小为10X3英寸
mglearn.plots.plot_2d_separator(clf,X,fill=True,eps=.5,ax=ax,alpha=.4)
ax表示绘制边界线
边界可视化,里面其余的参数在之前的文章里都有提到,在此不做过多分析
结论:随着邻居个数用来移动,决策边界也越来越平滑,更平滑的边界对应更简单的模型。也就是,使用更少的邻居对应更高的模型复杂度,而使用更多的邻居对应更低的模型复杂度。
假设考虑极端情况,即邻居个数等于训练集中所有数据点的个数,那么每个测试点的邻居都完全相同(即所有训练点),所有预测结果也完全相同(即训练集中出现次数最多的类别),接下来将讨论模型复杂度与泛化能力的关系,先将数据集分成训练集和测试集,然后用不同的邻居个数对训练集和测试集的性能进行评估。
import mglearn
from sklearn.datasets import load_breast_cancer
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import train_test_split
cancer=load_breast_cancer()
X_train,X_test,y_train,y_test = train_test_split(cancer.data,cancer.target,stratify=cancer.target,random_state=66)
training_accuracy=[]
test_accuracy=[]
neighbors_settings=range(1,11)
for n_neighbors in neighbors_settings:
clf=KNeighborsClassifier(n_neighbors=n_neighbors)
clf.fit(X_train,y_train)
training_accuracy.append(clf.score(X_train,y_train))
test_accuracy.append(clf.score(X_test,y_test))
plt.plot(neighbors_settings,training_accuracy,label="training_accuracy")
plt.plot(neighbors_settings,test_accuracy,label="test_accuracy")
plt.ylabel("Accuracy")
plt.xlabel("n_neighbors")
plt.legend()
stratify=cancer.target 表示分层,以样本标签进行分层
stratify : array-like or None (default=None)
If not None, data is split in a stratified fashion, using this as
the class labels.
意思大概是:默认不存在,如果存在,则以分层的方式对数据进行分割,并将其作为类标签。
如果不设置random_state则每次拆分出的训练集、测试集是不同的,对于数据集的拆分,它本质上也是随机的,设置不同的随机状态(或者不设置random_state参数)可以彻底改变拆分的结果。
图像的x轴为n_neighbors,y轴是训练集精度和测试集精度。仅考虑单一近邻时,训练集上的预测结果十分完美,但随着邻居个数的增多,模型变得更简单,训练集精度也随之下降。单一邻居时的测试集精度比使用更多邻居时要低,这表示单一近邻的模型过于复杂,与之相反的是,当考虑十个邻居时,模型又过于简单,性能甚至变得更差。
3、k近邻回归
k近邻算法还可用于回归,在sklearn-learn的KNeighborsRegressor类中实现,其用法与KNeighborsClassifier类似
import mglearn
from sklearn.neighbors import KNeighborsRegressor
from sklearn.model_selection import train_test_split
X,y=mglearn.datasets.make_wave(n_samples=40)
X_train,X_test,y_train,y_test = train_test_split(X,y,random_state=0)
reg=KNeighborsRegressor(n_neighbors=3)
reg.fit(X_train,y_train)
print("Test set predictions:\n{}".format(reg.predict(X_test)))
print("Test set R^2:{:.2f}".format(reg.score(X_test,y_test)))
Test set predictions:
[-0.05396539 0.35686046 1.13671923 -1.89415682 -1.13881398 -1.63113382
0.35686046 0.91241374 -0.44680446 -1.13881398]
Test set R^2:0.83
对于回归问题,这一方法返回的是R^2分数,也较决定系数,是回归模型预测的优度度量,位于0到1之间
4、分析KNeighborsRegressor
import mglearn
import numpy as np
from sklearn.neighbors import KNeighborsRegressor
from sklearn.model_selection import train_test_split
fig,axes=plt.subplots(1,3,figsize=(15,4))
line=np.linspace(-3,3,1000).reshape(-1,1)
for n_neighbors,ax in zip([1,3,9],axes):
reg=KNeighborsRegressor(n_neighbors=n_neighbors)
reg.fit(X_train,y_train)
ax.plot(line,reg.predict(line))
ax.plot(X_train,y_train,'^',c=mglearn.cm2(0),markersize=8)
ax.plot(X_test,y_test,'^',c=mglearn.cm2(1),markersize=8)
ax.set_title("{}neighbor(s)\n train score:{:.2f}test score:{:.2f}".format(n_neighbors,reg.score(X_train,y_train),reg.score(X_test,y_test)))
ax.set_xlabel("Feature")
ax.set_ylabel("Target")
axes[0].legend(["Model prediction","Training data/target","Test data/target"],loc="best")
np.linspace(-3,3,1000).reshape(-1,1)
reshape(-1,1)表示可以根据指定的数值将数据转换为特定的行数和列数,-1表示未给定,多少行都可以,1表示列数,只有一列,当其中的数值发生改变时,相应的行数和列数也改变。
import numpy as np
line=np.linspace(-3,3,10)
print(line)
print(line.reshape(-1,1))
print(line.reshape(-1,2))
print(line.reshape(2,-1))
[-3. -2.33333333 -1.66666667 -1. -0.33333333 0.33333333
1. 1.66666667 2.33333333 3. ]
[[-3. ]
[-2.33333333]
[-1.66666667]
[-1. ]
[-0.33333333]
[ 0.33333333]
[ 1. ]
[ 1.66666667]
[ 2.33333333]
[ 3. ]]
[[-3. -2.33333333]
[-1.66666667 -1. ]
[-0.33333333 0.33333333]
[ 1. 1.66666667]
[ 2.33333333 3. ]]
[[-3. -2.33333333 -1.66666667 -1. -0.33333333]
[ 0.33333333 1. 1.66666667 2.33333333 3. ]]
仅使用单一邻居,训练集中的每个点都对预测结果有显著影响,预测结果的图像经过所有数据点。这导致预测结果非常不稳定,考虑更多的邻居之后,预测结果变得更平滑,但对训练集的拟合也不好。
5、优缺点和参数
优点:模型容易理解,通常不需要过多调节就可以得到不错的性能。构建最近邻模型的速度通常很快。
缺点:如果训练集很大,预测速度可能会比较慢。对于有很多特征的数据集往往效果很不好,对于稀疏数据集来说,这一算法很不好
参数:邻居个数和数据点之间距离的量度方法。