spark和hadoop mapreduce的异同

首先Spark是借鉴了mapreduce并在其基础上发展起来的,继承了其分布式计算的优点并改进了mapreduce明显的缺陷,但是二者也有不少的差异具体如下:ApacheSpark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行计算框架,Spark拥有HadoopMapReduce所具有的优点;但不同于MapReduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。

1、spark把运算的中间数据存放在内存,迭代计算效率更高,Spark中除了基于内存计算外,还有DAG有向无环图来切分任务的执行先后顺序;mapreduce的中间结果需要落地,需要保存到磁盘,

这样必然会有磁盘io操做,影响性能。

2、spark容错性高,它通过弹性分布式数据集RDD来实现高效容错,RDD是一组分布式的存储在节点内存中的

只读性质的数据集,这些集合是弹性的,某一部分丢失或者出错,可以通过整个数据集的计算流程的血缘关系

来实现重建;mapreduce的话容错可能只能重新计算了,成本较高。

3、spark更加通用,spark提供了transformation和action这两大类的多个功能api,另外还有流式处理

sparkstreaming模块、图计算GraphX等等;mapreduce只提供了map和reduce两种操作,流计算以及其他

模块的支持比较缺乏。

4、spark框架和生态更为复杂,首先有RDD、血缘lineage、执行时的有向无环图DAG、stage划分等等,

很多时候spark作业都需要根据不同业务场景的需要进行调优已达到性能要求;mapreduce框架及其生态

相对较为简单,对性能的要求也相对较弱,但是运行较为稳定,适合长期后台运行。

Spark运行模式       

      1)Local

        多用于本地测试,如在eclipse,idea中写程序测试等。

      2)Standalone

       Standalone是Spark自带的一个资源调度框架,它支持完全分布式。

      3)Yarn

       Hadoop生态圈里面的一个资源调度框架,Spark也是可以基于Yarn来计算的。

      4)Mesos

      资源调度框架。

      要基于Yarn来进行资源调度,必须实现AppalicationMaster接口,Spark实现了这个接口,所以可以基于Yarn。

--------------------------------------------------------------------------------------------------------------------

 总结,spark生态更为丰富,功能更为强大、性能更佳,适用范围更广;mapreduce更简单、稳定性好、

适合离线海量数据挖掘计算。

猜你喜欢

转载自blog.csdn.net/franklyna/article/details/81163753