跟着教学试着用Idea编程,实现Spark查询Hive中的表。结果上来就凉了。
捣鼓好久都不行,在网上查有说将hive-site.xml放到resource目录就行,还有什么hadoop针对windows用户的权限问题,结果都是扯淡。
其实问题还是处在代码上,直接附上代码了,原因下载注释里
Spark Hive操作
package sparkSql
import org.apache.spark.sql.SparkSession
/**
* Created with IntelliJ IDEA.
*/
object SparkHiveSQL {
def main(args: Array[String]): Unit = {
//想要通过Spark操作hive SparkSession必须要调用enableHiveSupport(),否则无法查询到Hive
val spark = SparkSession
.builder()
.appName("Spark Hive")
.master("spark://192.168.194.131:7077")
.enableHiveSupport()
.getOrCreate()
val df1 = spark.sql("select * from default.src")
df1.show()
}
}