版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/jin6872115/article/details/82498980
可以直接使用
val conf = new SparkConf().setMaster("local").setAppName("sdf")
val sc = new SparkContext(conf)
val hiveContext = new HiveContext(sc)
val df = hiveContext.sql("drop table myhive.tablec ")
或者使用
val conf = new SparkConf().setMaster("local").setAppName("sdf")
val sc = new SparkContext(conf)
val hiveContext = new HiveContext(sc)
// val df = hiveContext.sql("drop table myhive.tablec ")
val spark = SparkSession.builder().config(conf).getOrCreate()
val df = spark.sqlContext.sql("select * from myhive.tablea").show()
使用spark时,必须按照上面的顺序,否则会报错
Exception in thread "main" org.apache.spark.sql.AnalysisException: Table or view not found: `myhive`.`tablea`; line 1 pos 14;
'Project [*]
+- 'UnresolvedRelation `myhive`.`tablea`
此外还需要将hive-site.xml,core-site.xml和hdfs-site.xml放到resources中