我要评论
本文阐述如何在debian系统上配置hadoop的资源分配策略，主要关注yarn（yet another resource negotiator）的配置，因为yarn是hadoop资源管理和调度的核心。
yarn资源管理器配置：
关键配置参数包括：
- yarn.nodemanager.resource.memory-mb：每个节点管理器可分配的物理内存总量（mb），默认8192mb（8gb）。
- yarn.nodemanager.vmem-pmem-ratio：虚拟内存与物理内存的使用比例，默认2.1。
- yarn.nodemanager.resource.cpu-vcore：每个节点管理器可分配的虚拟cpu核心数，默认8。 可根据cpu性能差异调整，将一个物理cpu核心划分为多个虚拟核心。
hadoop核心配置文件：
- core-site.xml：配置hdfs（hadoop分布式文件系统）位置及其他属性。
- hdfs-site.xml：配置hdfs数据副本数量、namenode元数据存储位置等。
- mapred-site.xml：配置mapreduce运行环境。
- yarn-site.xml：配置yarn资源管理器和调度器。
资源调度策略选择：
hadoop yarn提供多种资源调度器：
- capacity scheduler: 基于容量的调度器，适合资源需求相对稳定的应用场景。
- fair scheduler: 基于公平性的调度器，动态分配资源，适合资源需求波动较大的应用。
请注意，以上配置适用于hadoop 2.x和3.x版本，具体配置需根据实际hadoop版本、集群规模和资源情况进行调整和优化。 实际应用中，需要根据工作负载和集群资源情况选择合适的调度器并微调参数。
以上就是debian上hadoop资源分配策略的详细内容，更多请关注代码网其它相关文章！
发表评论