Apache DolphinScheduler 3.4.1 发布,新增任务分发超时检测

本次更新重点围绕 调度稳定性提升、任务运行控制能力增强以及系统问题修复展开。
1773651083123f45544e1f15485d0

点亮⭐️

https://github.com/apache/DolphinScheduler



点击蓝字 关注我们



Apache DolphinScheduler 社区近日正式发布 3.4.1 版本。作为 3.4.x 系列的一个维护版本,本次更新重点围绕 调度稳定性提升、任务运行控制能力增强以及系统问题修复展开。

新版本不仅引入了 任务分发超时检测机制 任务最大运行时间控制能力,还修复了多项调度逻辑、插件功能以及 API 行为中的问题,同时对系统文档、开发流程和工程结构进行了优化。

  • 更多详情请查看 Release Note:https://github.com/apache/dolphinscheduler/releases/tag/3.4.1
  • 源码下载:https://dolphinscheduler.apache.org/zh-cn/download/3.4.1

核心

亮点

新增任务分发超时检测机制

在 Master 调度模块中,系统新增了 任务分发超时检查逻辑。当任务被调度到 Worker 执行时,如果出现 Worker Group 不存在或没有可用 Worker 节点的情况,调度器能够在一定时间内检测到分发异常并进行处理,从而避免任务长期处于等待状态,提升系统在资源异常场景下的容错能力(#17795#17796)。

支持配置工作流与任务实例最大运行时间

新版本支持为 工作流实例(Workflow Instance)和任务实例(Task Instance)配置最大运行时间。用户可以为任务或工作流设置最大执行时长,当任务运行时间超过设定阈值时系统能够触发超时处理,从而避免任务卡死或异常占用资源,提高系统整体运行可控性(#17931#17932)。

关键修复

和优化

调度系统稳定性修复

  • 修复任务超时告警未触发的问题(#17820#17818
  • 修复工作流失败策略无法生效的问题(#17834#17851
  • 当任务执行上下文初始化失败时自动将任务标记为失败(#17758#17821
  • 修复补数任务并行执行模式下并行度计算错误的问题(#17831#17853

数据库与兼容性问题修复

  • 修复 PostgreSQL 环境下依赖任务执行 SQL 错误(#17690#17837
  • 修复数据库表字段 INT/BIGINT 类型不匹配问题(#17979#17988

API 与权限相关修复

  • 查询工作流实例时移除 WAIT_TO_RUN 状态并新增 FAILOVER 状态(#17838#17839
  • 为 Workflow API 新增租户校验机制(#17969#17970
  • 修复非管理员用户无法删除自己 Access Token 的问题(#17995#17997

插件与任务执行问题修复

  • 修复 Java Task 中 JVM 参数位置错误的问题(#17848#17850
  • 修复 Procedure Task 参数传递不可用的问题(#17967#17968
  • 修复 ProcedureTask 无法返回参数及无法执行查询存储过程的问题(#17971#17973
  • 修复 HTTP 插件无法发送 JSON 嵌套结构的问题(#17912#17911
  • 修复 HTTP 告警插件中超时单位不一致的问题(#17915#17920

UI 与文档问题修复

深度功

能剖析


在现代数据平台架构中,调度系统通常作为连接不同计算引擎的重要基础设施,例如 Spark、Flink、Hive 等任务往往通过统一的调度系统进行编排。

然而在生产环境中,调度系统经常面临以下问题:

  • Worker 资源异常导致任务无法调度
  • 任务运行时间不可控
  • 插件执行行为不稳定

本次版本新增的 任务分发超时检测机制,使调度器能够在 Worker 不存在或资源不可用时快速识别异常,从而避免任务无限等待的问题(#17795#17796)。

同时,新增的 最大运行时间控制能力 为任务执行提供了一种更加灵活的管理方式。通过为 Workflow 或 Task 设置最大运行时间,系统可以在任务异常卡死时及时进行处理,从而避免资源长时间被占用(#17931#17932)。

这两项能力进一步提升了 DolphinScheduler 在 生产级数据平台环境中的稳定性和可控性

致谢

贡献者

Apache DolphinScheduler 3.4.1 的发布离不开社区开发者的共同努力。感谢发版经理 @ruanwenjun 以及以下贡献者为本次版本提供代码和改进:



GitHub ID



SbloodyS
njnu-seafish
Mrhs121
ylq5126
qiong-zhou
XpengCen
iampratap7997-dot
yzeng1618
Alexander1902
maomao199691
asadjan4611
dill21yu

写在

最后

Apache DolphinScheduler 3.4.1 是一个以 调度稳定性提升和任务运行控制能力增强为核心的维护版本。通过新增调度容错机制、支持任务最大运行时间控制以及修复多项关键问题,该版本进一步提升了系统在生产环境中的可靠性。

随着社区持续发展,Apache DolphinScheduler 正不断完善其在数据平台调度领域的能力,为企业构建稳定、高效的数据工作流编排系统提供更加可靠的基础设施支持。欢迎更多人加入到我们的队伍中,共同推进 Apache DolphinScheduler 项目及社区的发展繁荣!



END




用户案例


Cisco Webex天翼云Zoom网易邮箱 每日互动 惠生工程作业帮 博世智驾蔚来汽车 长城汽车集度长安汽车思科网讯食行生鲜联通医疗联想新网银行兴业证券唯品富邦消费金融 自如有赞伊利当贝大数据珍岛集团传智教育BigoYY直播 拈花云科太美医疗深圳某智能制造企业
1773651087146f496dea826c2f156



迁移实战


Azkaban Ooize(当贝迁移案例)airflow (有赞迁移案例)Air2phin(迁移工具)Airflow
1773651087146f496dea826c2f156



最新发版消息



Apache DolphinScheduler 3.4.0 重磅发布:OIDC 登录、gRPC 任务支持、Kubernetes 部署与调度可靠性全面进化
1773651087146f496dea826c2f156



加入社区


关注社区的方式有很多:

  • GitHub: https://github.com/apache/dolphinscheduler
  • 官网:https://dolphinscheduler.apache.org/en-us
  • 订阅开发者邮件:dev@dolphinscheduler@apache.org(向邮箱发送任意内容,收到邮件后回复同意订阅即可)
  • X.com:@DolphinSchedule
  • YouTube:https://www.youtube.com/@apachedolphinscheduler
  • Slack:https://join.slack.com/t/asf-dolphinscheduler/shared_invite/zt-1cmrxsio1-nJHxRJa44jfkrNL_Nsy9Qg

同样地,参与Apache DolphinScheduler 有非常多的参与贡献的方式,主要分为代码方式和非代码方式两种。

非代码方式包括:

完善文档、翻译文档;翻译技术性、实践性文章;投稿实践性、原理性文章;成为布道师;社区管理、答疑;会议分享;测试反馈;用户反馈等。

‍代码方式包括:

查找Bug;编写修复代码;开发新功能;提交代码贡献;参与代码审查等。

贡献第一个PR(文档、代码) 我们也希望是简单的,第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。

社区汇总了以下适合新手的问题列表https://github.com/apache/dolphinscheduler/pulls?q=is%3Apr+is%3Aopen+label%3A%22first+time+contributor%22

优先级问题列表https://github.com/apache/dolphinscheduler/pulls?q=is%3Apr+is%3Aopen+label%3Apriority%3Ahigh

如何参与贡献链接https://dolphinscheduler.apache.org/zh-cn/docs/3.2.2/%E8%B4%A1%E7%8C%AE%E6%8C%87%E5%8D%97_menu/%E5%A6%82%E4%BD%95%E5%8F%82%E4%B8%8E_menu

如果你❤️小海豚,就来为我点亮Star吧!

https://github.com/apache/dolphinscheduler

177365109525691bb9eaa4af79005


1773651097420b6464bafe7d1de40

你的好友秀秀子拍了拍你

并请你帮她点一下“分享”