前提你已经安装好了scala插件了
我是创建Scala工程 没试过maven工程
问题一:创建scala工程一直卡在build
原因:创建Scala工程的时候应该选择IDEA,而不是obt:
尝试复制运行以下代码:
import org.apache.spark.{SparkConf, SparkContext}
object Main {
def main(args: Array[String]): Unit = {
val conf = new SparkConf().setAppName("MaxAndMin").setMaster("local")
val sc = new SparkContext(conf)
sc.setLogLevel("ERROR")
val lines = sc.textFile("D:\\SprkFile\\input.txt", 2)
val result = lines.filter(_.trim().length>0).map(line => ("key",line.trim.toInt)).groupByKey().map(x => {
var min = Integer.MAX_VALUE
var max = Integer.MIN_VALUE
for(num <- x._2){
if(num>max){
max = num
}
if(num<min){
min = num
}
}
(max,min)
}).collect.foreach(x => {
println("max\t"+x._1)
println("min\t"+x._2)
})
}
}
问题2:spark.conf 报错
扫描二维码关注公众号,回复: 11138547 查看本文章原因:1、没有引入包(我代码中已经引入包了) 2、没有下载spark相关包
解决参考自:博客
如何下载包?
我是下载的这个:spark-2.4.5-bin-hadoop2.7.tgz
选择第二个:
自此,问题全部解决:运行结果:(对了,记得在代码中相关路径下创建文件)