当前位置: 代码网 > it编程>编程语言>Java > hadoop集群配置与启动

hadoop集群配置与启动

2024年08月06日 Java 我要评论
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。深知大多数Java工程师,想要提升技能,往往是自己摸索成长,自己不成体系的自学效果低效漫长且无助。因此收集整理了一份《2024年Java开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。

在该文件中编写如下配置

fs.defaultfs

hdfs://hadoop102:9000

hadoop.tmp.dir

/opt/module/hadoop-2.7.5/data/tmp

(2)hdfs配置文件

配置hadoop-env.sh

[xuzhenchao@hadoop102 hadoop]$ vi hadoop-env.sh

export java_home=/opt/module/jdk1.8.0_262

配置hdfs-site.xml

[xuzhenchao@hadoop102 hadoop]$ vi hdfs-site.xml

在该文件中编写如下配置

dfs.replication

3

dfs.namenode.secondary.http-address

hadoop104:50090

(3)yarn配置文件

配置yarn-env.sh

[xuzhenchao@hadoop102 hadoop]$ vi yarn-env.sh

export java_home=/opt/module/jdk1.8.0_262

配置yarn-site.xml

[xuzhenchao@hadoop102 hadoop]$ vi yarn-site.xml

在该文件中增加如下配置

yarn.nodemanager.aux-services

mapreduce_shuffle

yarn.resourcemanager.hostname

hadoop103

(4)mapreduce配置文件

配置mapred-env.sh

[xuzhenchao@hadoop102 hadoop]$ vi mapred-env.sh

export java_home=/opt/module/jdk1.8.0_262

配置mapred-site.xml

[xuzhenchao@hadoop102 hadoop]$ cp mapred-site.xml.template mapred-site.xml

[xuzhenchao@hadoop102 hadoop]$ vi mapred-site.xml

在该文件中增加如下配置

mapreduce.framework.name

yarn

3.在集群上分发配置好的hadoop配置文件


[xuzhenchao@hadoop102 hadoop]$ xsync /opt/module/hadoop-2.7.5/

4.查看文件分发情况


[xuzhenchao@hadoop103 hadoop]$ cat /opt/module/hadoop-2.7.5/etc/hadoop/core-site.xml

[xuzhenchao@hadoop104 hadoop]$ cat /opt/module/hadoop-2.7.5/etc/hadoop/core-site.xml

5.集群单节点启动


最后

自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、oppo等大厂,18年进入阿里一直到现在。

深知大多数java工程师,想要提升技能,往往是自己摸索成长,自己不成体系的自学效果低效漫长且无助。

因此收集整理了一份《2024年java开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上java开发知识点,不论你是刚入门java开发的新手,还是希望在技术上不断提升的资深开发者,这些资料都将为你打开新的学习之门!

由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且会持续更新!
]

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上java开发知识点,不论你是刚入门java开发的新手,还是希望在技术上不断提升的资深开发者,这些资料都将为你打开新的学习之门!

由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且会持续更新!

(0)

相关文章:

版权声明:本文内容由互联网用户贡献,该文观点仅代表作者本人。本站仅提供信息存储服务,不拥有所有权,不承担相关法律责任。 如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 2386932994@qq.com 举报,一经查实将立刻删除。

发表评论

验证码:
Copyright © 2017-2025  代码网 保留所有权利. 粤ICP备2024248653号
站长QQ:2386932994 | 联系邮箱:2386932994@qq.com