我要评论mr3是一个通用的执行引擎，原生支持hadoop和kubernetes。
hive on mr3
0、mr3上的hive很稳定，向后移植了大约800个安全和关键补丁。
1、mr3上的hive实现了llap甚至更高的速度
llap（低延迟分析处理）是hive的主要组件，它使其性能远远超过竞争技术。
然而，由于其复杂的架构，启用llap非常困难。mr3上的hive无需额外配置即可自动达到llap及以上的速度。
2、mr3上的hive比tez上的hive实现了更高的吞吐量
hiveontez的一个常见用例是运行etl（提取-转换-加载）作业。凭借其先进的资源共享模型，mr3上的hive可以节省大量成本，尤其是在许多etl作业并发运行的情况下
3、mr3上的hive支持java17
与仍然需要java8的apachehive不同，mr3上的hive可以与java17一起运行。通过切换到java17，mr3上的hive可以将运行时间减少多达30%。
4、.mr3上的hive支持remoteshuffle服务
remoteshuffle服务因其众多潜力而被越来越多的技术采用。
mr3上的hive也在快速发展，以支持remoteshuffle服务。
目前hiveonmr3支持apacheceleborn作为remoteshuffle服务，可以消除95%以上的本地磁盘写入。
5、没有供应商锁定
在mr3上运行hive意味着不存在供应商锁定的风险。由于mr3上的hive与hivemetastore一起运行，因此用户可以随时切换回apachehive或其他技术。
spark on mr3
允许多个spark应用程序共享计算资源，例如yarncontainer或kubernetespod。
普通spark，不同的spark应用程序必须维护自己的一组executor，因为spark缺乏在spark应用程序之间回收计算资源的功能。
sparkonmr3易于使用在hadoop和kubernetes上，因为它与apachespark的不同之处仅在于任务调度和资源管理。除了在spark应用程序中回收containerworkers之外，用户还可以利用mr3的容错、推测执行和自动缩放等特性。
发表评论