目录
1、spark的背景、定义、意义
2、在hadoop生态圈中位置
3、版本发展与就业前景详情1、spark的背景、定义、特点
- 背景
-
MapReduce框架局限性
-
仅支持Map和Reduce两种操作,提供给用户的只有这两种操作
-
编程复杂度略高,学习和使用成本略高。
-
处理效率低效
- Map中间结果写磁盘,Reduce写HDFS,多个MR之间通过HDFS交换数据
- 任务调度和启动开销大
- 在机器学习、图计算等方面支持有限,性能效率表现比较差。
- mapreduce的机器学习框架,称为mahout。
-
定义
- 专为大规模数据处理而设计的快速通用的计算引擎,并形成一个高速发展应用广泛的生态系统。
-
特点
-
速度快
- 内存计算下,Spark 比 Hadoop 快100倍
-
易用性
- 80多个高级运算符
- 跨语言:使用Java,Scala,Python,R和SQL快速编写应用程序。
-
通用性
- Spark 提供了大量的库,包括SQL、DataFrames、MLib、GraphX、Spark Streaming。
- 开发者可以在同一个应用程序中无缝组合使用这些库。
-
-
支持多种资源管理器
- Spark 支持 Hadoop YARN,Apache Mesos,及其自带的独立集群管理器
-
生态组件丰富与成熟
- spark streaming :实时数据处理
- shark/sparkSQL : 用sql语句操作spark引擎
- sparkR : 用R语言操作Spark
- mlib : 机器学习算法库
- graphx : 图计算组件
-
2、在hadoop生态圈中位置
* 在hadoop生态圈位置
* spark生态圈
- Spark Core:包含Spark的基本功能;尤其是定义RDD(弹性分布式数据集)的API、操作以及这两者上的动作。其他Spark的库都是构建在RDD和Spark Core之上的
- Spark SQL:提供通过Apache Hive的SQL变体Hive查询语言(HiveQL)与Spark进行交互的API。每个数据库表被当做一个RDD,Spark SQL查询被转换为Spark操作。
- Spark Streaming:对实时数据流进行处理和控制。Spark Streaming允许程序能够像普通RDD一样处理实时数据
- MLib:一个常用机器学习算法库,算法被实现为对RDD的Spark操作。这个库包含可扩展的学习算法,比如分类、回归等需要对大量数据集进行迭代的操作。
- GraphX:控制图、并行图操作和计算的一组算法和工具的集合。GraphX扩展了RDD API,包含控制图、创建子图、访问路径上所有顶点的操作
- SparkR是一个提供从R中使用Spark的轻量级前端的R包。在Spark1.6以后,SparkR提供了分布式数据框架,它支持selection,filtering,aggregation等操作。也支持使用MLib分布式机器学习。
3、版本发展与就业前景
- 版本发展
-
重要里程碑
-
稳定版本一览( 2016年至今)
Spark 2.3.1 (Jun 08 2018)
Spark 2.3.0 (Feb 28 2018)
Spark 2.2.2 (Jul 02 2018)
我们选择经典的1.6.2版本,成熟稳定,市占率高。 -
spark1.x与2.x的优缺点对比
-
优点
- API抽象更高级、更统一,包括在spark-core,sparksql,sparksession等方面,学习更简单,开发效率更高,执行效率综合提升明显。
- 统一DataFrames和DataSets为DataSets,API进行了全部统一,简化学习和编程复杂度。
基本定位是低层API编程延用RDD,高级API编程均为DataSets,而大多数情况下用DataSets均可以解决问题。 * spark-streaming基于spark sql进行了API更高级抽象,即structured streaming(结构化流式编程),易用性和性能双双提高。 - 对诸多组件中的旧的rdd计算逻辑用DataFrame或DataSet进行了重写优化,并扩充了更多的算法。
-
缺点
- 对以前版本不是完全兼容,只是绝大部分兼容。
- 相对于1.6.x来讲,稳定性略差, bug不断。
-
-
就业前景
- 成熟度相比于hadoop还差一些,但自身迭代和生态圈发展很快。
- 业务对实时性要求日渐增高,各大公司和小公司都在积极调研转向spark,都需要懂spark的人
- Spark特别适合于迭代运算比较多的机器学习算法,而机器学习正在如火如荼发展中。
- Spark未来可能会取代MapReduce,但与Hadoop仍会友好共生。
- 基于内存计算是最大优势,而内存瓶颈会越来越少,故Spark的爆发点还有很大空间。
- 总结:岗位需求量和发展前景都很广阔,是未来3-5年的技术应用最大热门。
-
天亮教育是一家从事大数据云计算、人工智能、教育培训、产品开发、咨询服务、人才优选为一体的综合型互联网科技公司。
公司由一批BAT等一线互联网IT精英人士创建,
以"快乐工作,认真生活,打造高端职业技能教育的一面旗帜"为愿景,胸怀"让天下没有难找的工作"使命,
坚持"客户第一、诚信、激情、拥抱变化"的价值观,
全心全意为学员赋能提效,践行技术改变命运的初心。
更多学习讨论, 请加入
官方-天亮大数据交流-366784928
群二维码:
天亮教育公开课-从小白到大佬修成记-全系列视频地址:http://bbs.myhope365.com/forum.php?mod=viewthread&tid=1422&extra=page%3D1
欢迎关注天亮教育公众号,大数据技术资料与课程、招生就业动态、教育资讯动态、创业历程分享一站式分享,官方微信公众号二维码:
天亮教育官方群318971238,
爬虫、nlp技术qq群320349384
hadoop & spark & hive技术群297585251,
教育培训官网:http://myhope365.com
项目研发官网:http://shangyuninfo.com/
官方天亮论坛:http://bbs.myhope365.com/