林子雨大数据java练习

由于截图丢失,仅凭记忆记录。

代码源自:《附录A:林子雨-大数据课程实验答案》

十道HDFS练习题,一道MapReduce实现K-means的题目

K-means代码借鉴地址https://blog.csdn.net/qq_35488275/article/details/66473942

  1. 将hadoop带有的eclipse-Hadoop-plugin包放入eclipse专门的插件包地址,创建MapReduce工程环境
  2. 配置hadoop本机和客户机的地址和端口,新建hadoop项,本地节点输入本机hdfs地址:如1SPC38和端口9000,两个地址都填一样的,我也没搞懂为什么要这样,但试了一下确实成功了

在java文件中需要填conf的部分填写hdfs://1SPC38:9000(具体情况具体分析)有的地方是localhost,这里其实把它换成刚才配置好的1SPC38就可以了

然后根据教程代码进行具体的修改就可以了,答案有些地方有误,需要自行修改,都很简单,如果要实现更多提示功能,添加一个Scanner功能就好。

这是本人自学习java以来成功实现的第一个程序,全部看懂并且有自己的修改,对java学习有很大帮助,并且切身体验了hadoop集群的强大,之后可能会用它来做一切数据挖掘工作。代码下周或者下下周上传。

猜你喜欢

转载自blog.csdn.net/qk61508/article/details/84866974