当前位置: 代码网 > it编程>编程语言>Java > (十二)大数据实战——hadoop集群之HDFS高可用自动故障转移

(十二)大数据实战——hadoop集群之HDFS高可用自动故障转移

2024年07月28日 Java 我要评论
本节内容主要介绍一下hadoop集群下实现HDFS高可用的自动故障转移,HDFS高可用的自动故障转移主要通过zookeeper实现故障的监控和主节点的切换。自动故障转移为 HDFS 部署增加了两个新组件:ZooKeeper 和 ZKFailoverController (ZKFC)进程。ZooKeeper 是维护少量协调数据,通知客户端这些数据的改变和监视客户端故障的高可用服务。

前言

本节内容主要介绍一下hadoop集群下实现hdfs高可用的自动故障转移,hdfs高可用的自动故障转移主要通过zookeeper实现故障的监控和主节点的切换。自动故障转移为 hdfs 部署增加了两个新组件:zookeeper 和 zkfailovercontroller (zkfc)进程。zookeeper 是维护少量协调数据,通知客户端这些数据的改变和监视客户端故障的高可用服务。在开始本节内容之前,我们需要提前安装好zookeeper集群,可参考作者往期博客内容。

正文

  • 集群规划
  •  在core-site.xml文件中增加zkfc要连接的zkserver地址
  • 在hdfs-site.xml中增加故障转移的配置
  • 使用hsync分发修改的配置文件
  •  启动zookeeper集群
  • 启动 zookeeper集群后,然后再初始化ha在zookeeper集群中状态
  • 启动hdfs服务
  • 关闭hadoop102的active的节点,查看故障是否会转移

结语

关于hadoop集群之hdfs高可用自动故障转移的内容到这里就结束了,我们下期见。。。。。。

(0)

相关文章:

版权声明:本文内容由互联网用户贡献,该文观点仅代表作者本人。本站仅提供信息存储服务,不拥有所有权,不承担相关法律责任。 如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 2386932994@qq.com 举报,一经查实将立刻删除。

发表评论

验证码:
Copyright © 2017-2025  代码网 保留所有权利. 粤ICP备2024248653号
站长QQ:2386932994 | 联系邮箱:2386932994@qq.com