SparkSQL 到RDD
val spark = SparkSession . builder(). appName("example").master("local").getOrCreate()
spark.read.json("student.json").createOrReplaceTempView("student")
spark.sql("select name from student where age>18").show()
从SQL到Spark RDD 要经过逻辑计划和物理计划两个阶段:
逻辑计划
逻辑计划将用户的SQL语句转成树型数据结构,SQL中逻辑映射到逻辑算子树的不同节点。逻辑阶段生成的逻辑算子树不会直接体提交,
值作为中间阶段。逻辑算子树形成需要以下三个阶段:
Unresolved LogicalPlan(数据结构,不含任何数据信息)–>Analyzed LogicalPlan(节点中绑定各种信息)–>Optimized LogicalPlan(优化低效的逻辑计划)
物理计划
将逻辑计划生成的逻辑算子树进行转换,生成物理算子树。
物理算子树直接生成RDD或对RDD进行转换,物理计划也包括三个阶段:
PhysicalPlan(算子树列表)–>SparkPlan(最优算子树)–>Prepared SparkPlan(生成RDD执行action操作)
SQL解析到提交之前,都在Driver端进行,不涉及分布式环境。
在代码中,进行如下转换:
其中FileSourceScanExec构造数据源对应的RDD,FilterExec和ProjectExec中的execute函数对RDD执行transformation
SparkSession的sql通过以上及阶段的转换生成QueryExecution对象,即查询执行。