1、DSL模式 【通过调用方法】
dataFame.select("name").show
dataFame.filter($"age" > 25).show
2、SQL模式 【通过执行SQL】
1、先创建一张表:
一个SparkContext可以多次创建 sparkSession。
//Session内可访问, 一个SparkSession结束后,表自动删除。
dataFrame.createOrReplaceTempView("people") 使用表名不需要任何前缀。
//应用级别内可访问,一个SparkContext结束后,表自动删除。
dataFrame.createGlobalTempView("people") 使用表名需要加上 " global_temp." 前缀, 比如 global_temp.people
2、执行SQL
dataFame.select("name").show
dataFame.filter($"age" > 25).show
2、SQL模式 【通过执行SQL】
1、先创建一张表:
一个SparkContext可以多次创建 sparkSession。
//Session内可访问, 一个SparkSession结束后,表自动删除。
dataFrame.createOrReplaceTempView("people") 使用表名不需要任何前缀。
//应用级别内可访问,一个SparkContext结束后,表自动删除。
dataFrame.createGlobalTempView("people") 使用表名需要加上 " global_temp." 前缀, 比如 global_temp.people
2、执行SQL
spark.sql("select * from people") 即可