Spark得整理

Spark是使用Scala语言编写、基于内存运算的大数据计算框架。

以Spark core为核心,提供了Spark SQL、Spark Streaming、MLlib几大功能组件

中文文档:https://spark.apachecn.org/#/

github地址:https://github.com/apache/spark

Spark Core

Spark提供了多种资源调度框架,基于内存计算、提供了DAG的执行流程管理以及RDD的血缘关系来保证计算的快速和高容错性。RDD是Spark的核心概念

Spark SQL

SparkSQL基于Spark Core来优化sql查询,将sql的查询转为对应的RDD(DateFrame),并进行优化,简化了开发,提高了数据清洗的效率

Spark Streaming

SparkStreaming是基于SparkCore实现的流处理框架,通过微批的概念实现了流处理(DStream),可以将数据的延迟保证为最少500ms,是一个高吞吐高容错的流式处理框架。

发布了238 篇原创文章 · 获赞 429 · 访问量 25万+

猜你喜欢

转载自blog.csdn.net/qq_45765882/article/details/105522676