在工作当中由于历史原因:有很多数据在SequenceFile里面
textfile是不能读取的,如果转化是可以的,但是 比较麻烦的,
还不如直接读取;之后再进行操作
package g5.learning
import org.apache.hadoop.io.BytesWritable
import org.apache.spark.{SparkConf, SparkContext}
object SequenceFileApp {
def main(args: Array[String]): Unit = {
val sparkConf = new SparkConf().setMaster("local[2]").setAppName("SequenceFileApp")
val sc = new SparkContext(sparkConf)
val file = sc.sequenceFile[BytesWritable,String]("路径")
file.map(x => x._2.split("\t")).map(x=>(x(0),x(1))).foreach(println)
//后面就可以进行相应的操作了
file.foreach(println)
// file.map(x=>(x._1.copyBytes(),x._2)).foreach(println)
sc.stop()
}
}