将SparkSql查询到的结果保存到本地

Spark.sql查询后得到一个DataFrame对象

val df: DataFrame = spark.sql("select * from student")

将结果保存到本地 【格式为csv格式】

df.write.format("csv").save("output")

补充: 如果sql语句中涉及到分区 ,那么保存的文件个数 与 分区的个数相同。
如果想将查询的结果保存到一个文件中,可以使用下面的方法

解释 :使用repartition方法将分区个数设置为一个

df.repartition(1).write.format("csv").save("output")

猜你喜欢

转载自blog.csdn.net/VariatioZbw/article/details/109347557