我要评论二者区别
1 本质区别:spark除了需要shuffle的计算，其他是将结果/中间结果持久化到内存中，而mr是都需要落地到磁盘(map.reduce落地都写)，因此spark格外适用于频繁读写中间结果的迭代计算
2 资源:mr是基于进程，spark是基于线程。mr是多进程单线程模型，而spark是多进程多线程模型；
mr代码验证：mapreduce任务是多进程单线程模式验证
3 并行度:此外，速度区别之二在于任务的并行度不同：
spark会增加任务的并行度从而提高速度：由于将中间结果写到磁盘与从磁盘读取中间结果属于不同的环节，mr只是将它们简单的通过串行执行衔接起来。而spark把不同的环节抽象为stage，允许多个stage既可以串行执行，又可以并行执行。
4 运行环境:mr运行在yarn上
spark支持多种运行模式 local standalone yarn
saprk on hive 和 hive on spark
spark on hive:hive只负责存储角色,spark负责解析sql优化 执行
hive on spark:hive既作为存储又负责sql的解析优化,spark负责执行.
mrshuffle和sparkshuffle区别
区别:
1 本质上相同,都是把map端数据分类处理后交给reduce过程
2 数据流有所区别,mr是map/spill/merge/shuffle/sort/reduce 等各阶段逐一实现,spark是基于dag数据流,可以实现更为复杂的数据流操作(宽窄依赖)
发表评论