当前位置: 代码网 > it编程>编程语言>Javascript > CDC 数据入湖方案:Flink CDC > Kafka > Hudi

CDC 数据入湖方案:Flink CDC > Kafka > Hudi

2024年07月31日 Javascript 我要评论
本方案的技术链路为:使用 Flink CDC 将 MySQL 的 CDC 数据 (Json 格式)接入到 Kafka ,然后通过 Flink Hudi Connector 将摄取的 CDC 数据写入到 Hudi 表中。文本是本博客的 CDC 数据入湖系列方案中最为基础的一套堆栈,架构上也比较简单,适合作为 POC 快速搭建 CDC 实时处理链路。如果寻求更加适用于生产环境的解决方案,请参考

本方案的技术链路为:使用 flink cdc 将 mysql 的 cdc 数据 (json 格式)接入到 kafka ,然后通过 flink hudi connector 将摄取的 cdc 数据写入到 hudi 表中。文本是本博客 cdc 数据入湖系列方案中最为基础的一套,技术堆栈较为简单,适合作为 poc 方案快速搭建 cdc 实时处理链路。如果寻求更适合生产环境的高阶解决方案,请参考:

(0)

相关文章:

版权声明:本文内容由互联网用户贡献,该文观点仅代表作者本人。本站仅提供信息存储服务,不拥有所有权,不承担相关法律责任。 如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 2386932994@qq.com 举报,一经查实将立刻删除。

发表评论

验证码:
Copyright © 2017-2025  代码网 保留所有权利. 粤ICP备2024248653号
站长QQ:2386932994 | 联系邮箱:2386932994@qq.com