在Windows IDEA进行Spark开发的时候,只要enableHiveSupport()就会报错,网上找了很多文章均不能解决问题,折腾了半天终于解决了,做一个记录
一、需要集群中Hive的配置hive-site.xml放到工程的resource目录下
如果是cdh则hive的配置在/etc/hive/conf路径下,如下图:
IDEA resources目录如下:
二、必须解决Could not locate executable null\bin\winutils.exe in the Hadoop binaries错误,我之前没有管这个错误,因此运行时一直不行
解决方法见博客:https://blog.csdn.net/lingbo229/article/details/81382987
三、运行如下代码不报错,则表明成功
def main(args: Array[String]): Unit = {
val spark = SparkSession
.builder()
.enableHiveSupport()
.appName("Spark Hive")
.master("local[2]")
.getOrCreate()
spark.sql("show tables").show()
}