最近使用 Apache 调度任务,不可避免地使用到【补数据】功能,经过不断尝试,终于成功运行了【补数据】功能,以此帖记录。补数据
功能简介
"补数据" 在 Apache DolphinScheduler 中指的是 补数据(Complement Data) 功能,用于补充执行历史时间段内的工作流实例。
补数据
功能概述
补数据是工作流执行的一种特殊模式,让用户可以为过去的时间段批量创建和执行工作流实例。这在以下场景中特别有用:
补数据
配置参数
在工作流启动界面中,补数据功能包含以下配置选项:
是否是补数据 (whether_complement_data): 开关选项,启用补数据模式
调度日期 (schedule_date): 指定需要补数据的时间范围 :
yyyy-MM-dd HH:mm:ss,多个日期用逗号分隔执行方式 (mode_of_execution):
串行执行: 按顺序逐个执行补数据任务
并行执行: 同时执行多个补数据任务
并行度 (parallelism): 当选择并行执行时,可以设置自定义并行度来控制同时执行的任务数量
执行顺序 (order_of_execution) :
按日期升序执行: 从最早的日期开始执行
按日期降序执行: 从最近的日期开始执行
使用
步骤
首先是工作流的任务配置,见下图

接着,保存工作流,未设置全局变量。上线工作流。
最后,运行工作流,运行参数见下图

验证
结果
点击【工作流实例】,查看运行结果。

点击第1个实例进入,查看日志

结果显示,SQL 运行结果为补数据选择的日期,补数据功能正常可用。
补数据功能是 Apache DolphinScheduler 工作流管理中的重要特性,通过灵活的配置选项(执行方式、并行度、执行顺序等)来满足不同的数据补充需求。在使用时需要注意合理设置并行度,避免对系统资源造成过大压力。




用户案例

迁移实战

发版消息

加入社区
关注社区的方式有很多:
同样地,参与Apache DolphinScheduler 有非常多的参与贡献的方式,主要分为代码方式和非代码方式两种。
非代码方式包括:
完善文档、翻译文档;翻译技术性、实践性文章;投稿实践性、原理性文章;成为布道师;社区管理、答疑;会议分享;测试反馈;用户反馈等。
代码方式包括:
查找Bug;编写修复代码;开发新功能;提交代码贡献;参与代码审查等。


你的好友秀秀子拍了拍你
并请你帮她点一下“分享”
