Describe用于生成数据描述文件主要用于决策树分类使用,换句话说就是对数据项的描述说明,为json格式,生成的样例如下:
[ { "values": null, "label": false, "type": "numerical" }, { "values": [ "icmp", "udp", "tcp" ], "label": false, "type": "categorical" } ]
主要包括三项,类型,是否为label和值,如果是数值型的那么不会罗列其数值会以null的形式存在,描述项支持的类型如下:
I 忽略不参与计算 N 数值型 C 字符串型 L 类标签
使用方式:
hadoop jar your.jar org.apache.mahout.driver.MahoutDriver org.apache.mahout.classifier.df.tools.Describe -p /user/test/input/KDDTrain+.TXT -f /user/test/input/data.info -d N 3 C 2 N C 4 N C 8 N 2 C 19 N L N