当前位置: 代码网 > it编程>前端脚本>Powershell > HDFS 跨集群数据同步(hive,hadoop)

HDFS 跨集群数据同步(hive,hadoop)

2024年08月04日 Powershell 我要评论
echo "${db_name}.${table_name} ${part_date} 迁移开始"echo "${db_name}.${table_name} ${part_date} 迁移完成"两个不同的HDFS 集群数据迁移( A集群的数据 -> B 集群) 采用的是 SHELL 脚本。#计算两个时间戳的差值除于每天86400s即为天数差。#迁移 网络限制300M 增量形式迁移。echo "${days} 天数据"#创建日期: 2020-04。#将日期转为的时间戳格式。

两个不同的hdfs 集群数据迁移( a集群的数据 -> b 集群) 采用的是 shell 脚本

  1.  按表进行;

  2. 日期分区进行;

(0)

相关文章:

版权声明:本文内容由互联网用户贡献,该文观点仅代表作者本人。本站仅提供信息存储服务,不拥有所有权,不承担相关法律责任。 如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 2386932994@qq.com 举报,一经查实将立刻删除。

发表评论

验证码:
Copyright © 2017-2025  代码网 保留所有权利. 粤ICP备2024248653号
站长QQ:2386932994 | 联系邮箱:2386932994@qq.com