机器学习库Mlib
MLib 是一个spark机器学习库。它的目标是使机器学习容易使用和可扩展。从一个高层角度,提供了下面的工具:
机器学习算法:比如分类,回归,聚类和协同过滤
特征处理: 特征抽取,转换,降维和选 择
管道(Pipeline):构建工具,评估,和Pipelines优化
持久化:保存和载入算法,模型,管道
工具集:线性代数,统计,数据处理等等
spark2.0后,spark.mllib包基于RDD的api已经进入维护阶段。spark ml包里的api都是基于dataframe的。
Mlib基于RDD的api预计在spark3.0时会被删除。