Spark速度比MapReduce快，不仅是内存计算
MapReduce：MapReduce通常需要将计算的中间结果写入磁盘。map进程和reduce进程需要读取指定位置的数据作为输入，如果不将中间结果写入磁盘以保证可靠存储，一旦中间结果丢失或者损坏，MapReduce没有机制能够恢复中间结果。此外，一个job可能涉及到多个stage，而每个stage的处理结果都需要存储到HDFS中，这就必然导致频繁的磁盘IO；
-
Spark：Spark不需要将计算的中间结果写入磁盘，这得益于Spark的RDD（弹性分布式数据集）和DAG（有向无环图），前者是Spark中引入的一种只读的、可扩展的数据结构，后者则记录了job的stage以及在job执行过程中父RDD和子RDD之间的依赖关系。中间结果能够以RDD的形式存放在内存中，一旦Job中的某个RDD丢失或者损坏，则可以根据DAG来重新计算得到该RDD。此外，在Spark中一个job的多个stage任务可以串联或者并联执行，stage的中间结果不需写入HDFS。
我们知道频繁的磁盘IO非常影响系统的处理性能，而基于内存计算则大大提升了处理性能。
二、其他区别
2.1 任务调度
-
Hadoop的MapReduce是针对大文件的批处理而设计的，延迟较高； -
Hadoop的MapReduce的Map Task和Reduce Task都是进程级别的，而Spark Task则是基于线程 模型的（而mapreduce 中的 map 和 reduce 都是 jvm 进程，每次启动都需要重新申请资源，启动时间大概1s；想象一下如果是8096个block，那么单独启动map进程事件就需要8096秒，非常影响效率；）； Spark通过复用线程池中的线程来减少启动、关闭task所需要的开销。
2.2 执行策略
-
MapReduce在shuffle前需要花费大量时间进行排序； Spark在shuffle时只有部分场景才需要排序，支持基于Hash的分布式聚合，更加省时；
2.3 数据格式和内存布局
-
MapReduce Schema on Read处理方式会引起较大的处理开销； -
Spark RDD能支持粗粒度写操作，对于读操作则可以精确到每条record，因此RDD可以用来作为分布式索引。此外用户可以自定义分区策略，如Hash分区等。Shark和Spark SQL在Spark的基础上实现了列存储和列存储压缩。