当前位置: 代码网 > it编程>编程语言>Javascript > Chunjun纯钧(Flinkx)同步任务开发通用配置参数详解

Chunjun纯钧(Flinkx)同步任务开发通用配置参数详解

2024年08月01日 Javascript 我要评论
Chunjun纯钧(Flinkx)是一款稳定、易用、高效、批流一体的数据集成框架,目前基于实时计算引擎Flink实现多种异构数据源之间的数据同步与计算,支持JSON模版配置任务,兼容FlinkSQL语法。本文对chunjun同步任务的配置文件进行详细的介绍和总结。

配置文件结构详解

一个完整的chunjun任务脚本配置包含contentsetting两个部分。content用于配置任务的输入源与输出源,其中包含readerwriter。而setting则配置任务整体的环境设定,其中包含speederrorlimitmetricpluginconfrestorelogdirty。总体结构如下所示:

{
   
  "job": {
   
    "content": [
      {
   
        "reader": {
   },
        "writer": {
   }
      }
    ],
    "setting": {
   
      "speed": {
   },
      "errorlimit": {
   },
      "metricpluginconf": {
   },
      "restore": {
   },
      "log": {
   },
      "dirty": {
   }
    }
  }
}
名称 说明 是否必填
contend reader reader插件详细配置
writer writer插件详细配置
setting speed 速率限制
errorlimit 出错控制
metricpluginconf 指标插件配置
restore 任务类型及断点续传配置
log 日志记录配置
dirty 脏数据保存

content配置

reader

reader用于配置数据的输入源,即数据从何而来。具体配置如下所示:

"reader" : {
   
(0)

相关文章:

版权声明:本文内容由互联网用户贡献,该文观点仅代表作者本人。本站仅提供信息存储服务,不拥有所有权,不承担相关法律责任。 如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 2386932994@qq.com 举报,一经查实将立刻删除。

发表评论

验证码:
Copyright © 2017-2025  代码网 保留所有权利. 粤ICP备2024248653号
站长QQ:2386932994 | 联系邮箱:2386932994@qq.com