一、提出任务
Spark成绩表-spark.txt
张三丰 94
李孟达 88
唐雨涵 90
王晓云 87
张晓琳 83
佟湘玉 89
杨文达 93
陈燕文 84
Python成绩表-Python.txt
张三丰 88
李孟达 83
唐雨涵 80
王晓云 79
张晓琳 87
佟湘玉 80
杨文达 98
陈燕文 74
Django成绩表-Django.txt
张三丰 74
李孟达 80
唐雨涵 96
王晓云 97
张晓琳 88
佟湘玉 99
杨文达 90
陈燕文 85
预备工作:启动集群与Spark
在HDFS上新建/score目录
在master虚拟机上创建三个成绩文件
将三个成绩文件上传到HDFS的/score目录
查看三个成绩文件内容
二、完成任务
(一)新建Maven项目
将Java目录改为Scala
(二)添加相关依赖和构建插件
(三)创建日志属性文件
(四)创建计算平均分单例对象
(五)本地运行程序,查看结果
1 张三丰 81.33
2 李孟达 88.67
3 唐雨涵 92.67
4 王晓云 85.00
5 张晓琳 86.67
6 佟湘玉 82.33
7 杨文达 82.00
8 陈燕文 94.33