路径/i-data/it/user_newly/20190218.parquet
需要注意的事项有:
1因为首次加载文件时,目录下还没有任何文件,此路径只能写到i-data/it/user_newly/,不能后面加上*,会报错路径找不到
2因为首次加载时还没有文件,如果又需要加载则需要先定义schema,指定文件的数据格式字段等,否则spark无法自动推断
3可能需要先创建好目录,如果读取时没有一个文件;而如果是写数据时会自动创建上级目录
val appuserHisPath="/i-data/it/user_newly/"
lazy val schema= StructType(scala.collection.mutable.ArraySeq( StructField("appid", LongType, true), StructField("appname",StringType,true)))
val app_users_his=spark.read.schema(schema).load(appuserHisPath)