文章目录
一、RDD为何物
(一)RDD概念
1、Spark提供了一种对数据的核心抽象,称为弹性分布式数据集(Resilient Distributed Dataset,RDD)。这个数据集的全部或部分可以缓存在内存中,并且可以在多次计算时重用。RDD其实就是一个分布在多个节点上的数据集合。
2、RDD的弹性主要是指当内存不够时,数据可以持久化到磁盘,并且RDD具有高效的容错能力。
分布式数据集是指一个数据集存储在不同的节点上,每个节点存储数据集的一部分。
(二)RDD示例
将数据集(hello,world,scala,spark,love,spark, happy)存储在三个节点上,节点一存储(hello,world),节点二存储(scala,spark,love),节点三存储(spark,happy),这样对三个节点的数据可以并行计算,并且三个节点的数据共同组成了一个RDD。
(三)RDD主要特征
RDD是不可变的,但可以将RDD转换成新的RDD进行操作。
RDD是可分区的。RDD由很多分区组成,每个分区对应一个Task任务来执行。
对RDD进行操作,相当于对RDD的每个分区进行操作。
RDD拥有一系列对分区进行计算的函数,称为算子。
RDD之间存在依赖关系,可以实现管道化,避免了中间数据的存储。
二、做好准备工作
(一)准备文件
1、准备本地系统文件
在/home目录里创建test.txt
单词用空格分隔
2、启动HDFS服务
执行命令:start-dfs.sh
3、上传文件到HDFS
将test.txt上传到HDFS的/park目录里
查看文件内容
(二)启动Spark Shell
1、启动Spark服务
执行命令:start-all.sh
2、启动Spark Shell
查看Spark Shell的WebUi界面
三、创建RDD
(一)从对象集合创建RDD
Spark可以通过parallelize()或makeRDD()方法将一个对象集合转化为RDD。
1、利用parallelize()方法创建RDD
执行命令:val rdd = sc.parallelize(List(1, 2, 3, 4, 5, 6, 7, 8))
2、利用makeRDD()方法创建RDD
执行命令:val rdd = sc.makeRDD(List(1, 2, 3, 4, 5, 6, 7, 8))
执行命令:rdd.collect(),收集rdd数据进行显示
行动算子[action operator]collect()的括号可以省略的
3、简单说明
(二)从外部存储创建RDD
Spark的textFile()方法可以读取本地文件系统或外部其他系统中的数据,并创建RDD。不同的是,数据的来源路径不同
1、读取本地系统文件
执行命令:val lines = rdd.collect(),查看RDD中的内容,保存到常量lines
执行命令:lines.foreach(println)(利用foreach遍历算子)
执行命令:for (line <- lines) println(line)
利用for循环来实现
2、读取HDFS上的文件
执行命令:`val rdd = sc.textFile(“hdfs://master:9000/park/test.txt”)
`
执行命令:val lines = rdd.collect,查看RDD中的内容
获取包含spark的行,执行命令:val sparkLines = rdd.filter((line) => line.contains(“spark”))(filter是一个转换算子[transformation operator])
有更简单的写法,执行命令:`val sparkLines = rdd.filter(_.contains(“spark”))
`
利用遍历算子显示sparkLines内容