当前位置: 代码网 > it编程>数据库>Redis > 解读hadoop启动集群之后没有namenode的一种情况

解读hadoop启动集群之后没有namenode的一种情况

2024年10月10日 Redis 我要评论
先说结论一般在网上搜索这个问题都是让重新格式化namenode(当然,格式化之前要记得清空namenode和datanode文件夹)。但是对于我之前遇到的问题却没法解决。我的做法是检查你的hadoop

先说结论

一般在网上搜索这个问题都是让重新格式化namenode(当然,格式化之前要记得清空namenode和datanode文件夹)。

但是对于我之前遇到的问题却没法解决。

我的做法是

检查你的hadoop的配置文件是否填写正确

我的hadoop的hdfs-site.xml中的主机ip地址未填写正确

导致启动集群服务后namenode启动不上

hdfs当然也没法用

我的虚拟机会产生这个问题主要是虚拟机的ip地址发生了改变,在这里我简单记录一下发生这种问题怎么处理,也方便我以后参阅。

  • 1.首先查明每台虚拟机的ip地址,修改 etc/hosts文件。
  • 2.保证每台虚拟机能互ping,ssh免密码登录可以使用。
  • 3.修改hadoop文件夹中 etc/hadoop中的core-site.xml、hdfs-site.xml、和zookeeper文件夹(如果安装了zookeeper的话)中的zoo.cfg 文件
  • 4.格式化节点(hadoop-2.9.2/bin/hdfs namenode -format),如果所有虚拟机的ip地址都发生了改变,那么就都要格式化,格式化之前要记得清空namenode和datanode文件夹,并修改namenode和datanode文件夹的权限(chmod 777 namenode)
  • 5.最后再启动集群 hadoop-2.9.2/sbin/start-all.sh,以后关闭集群最好使用stop-all.sh
  • 6.先试试用命令上传文件到hdfs是否成功(hadoop-2.9.2/bin/hdfs dfs -put student.txt /tmp/),然后再试着用浏览器访问虚拟机50070端口,如果都能调试成功再试着用java或者python等脚本操作hdfs。

总结

以上为个人经验,希望能给大家一个参考,也希望大家多多支持代码网。

(0)

相关文章:

版权声明:本文内容由互联网用户贡献,该文观点仅代表作者本人。本站仅提供信息存储服务,不拥有所有权,不承担相关法律责任。 如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 2386932994@qq.com 举报,一经查实将立刻删除。

发表评论

验证码:
Copyright © 2017-2025  代码网 保留所有权利. 粤ICP备2024248653号
站长QQ:2386932994 | 联系邮箱:2386932994@qq.com