
点亮⭐️
https://github.com/apache/
点击蓝字 关注我们
新版本不仅引入了 任务分发超时检测机制 和 任务最大运行时间控制能力,还修复了多项调度逻辑、插件功能以及 API 行为中的问题,同时对系统文档、开发流程和工程结构进行了优化。
核心
亮点
在 Master 调度模块中,系统新增了 任务分发超时检查逻辑。当任务被调度到 Worker 执行时,如果出现 Worker Group 不存在或没有可用 Worker 节点的情况,调度器能够在一定时间内检测到分发异常并进行处理,从而避免任务长期处于等待状态,提升系统在资源异常场景下的容错能力(#17795,#17796)。
新版本支持为 工作流实例(Workflow Instance)和任务实例(Task Instance)配置最大运行时间。用户可以为任务或工作流设置最大执行时长,当任务运行时间超过设定阈值时系统能够触发超时处理,从而避免任务卡死或异常占用资源,提高系统整体运行可控性(#17931,#17932)。
关键修复
和优化
WAIT_TO_RUN 状态并新增 FAILOVER 状态(#17838,#17839)深度功
能剖析
在现代数据平台架构中,调度系统通常作为连接不同计算引擎的重要基础设施,例如 Spark、Flink、Hive 等任务往往通过统一的调度系统进行编排。
然而在生产环境中,调度系统经常面临以下问题:
本次版本新增的 任务分发超时检测机制,使调度器能够在 Worker 不存在或资源不可用时快速识别异常,从而避免任务无限等待的问题(#17795,#17796)。
同时,新增的 最大运行时间控制能力 为任务执行提供了一种更加灵活的管理方式。通过为 Workflow 或 Task 设置最大运行时间,系统可以在任务异常卡死时及时进行处理,从而避免资源长时间被占用(#17931,#17932)。
这两项能力进一步提升了 DolphinScheduler 在 生产级数据平台环境中的稳定性和可控性。
致谢
贡献者
Apache DolphinScheduler 3.4.1 的发布离不开社区开发者的共同努力。感谢发版经理 @ruanwenjun 以及以下贡献者为本次版本提供代码和改进:
GitHub ID
写在
最后
Apache DolphinScheduler 3.4.1 是一个以 调度稳定性提升和任务运行控制能力增强为核心的维护版本。通过新增调度容错机制、支持任务最大运行时间控制以及修复多项关键问题,该版本进一步提升了系统在生产环境中的可靠性。
随着社区持续发展,Apache DolphinScheduler 正不断完善其在数据平台调度领域的能力,为企业构建稳定、高效的数据工作流编排系统提供更加可靠的基础设施支持。欢迎更多人加入到我们的队伍中,共同推进 Apache DolphinScheduler 项目及社区的发展繁荣!
END
用户案例

迁移实战

最新发版消息

加入社区
关注社区的方式有很多:
同样地,参与Apache DolphinScheduler 有非常多的参与贡献的方式,主要分为代码方式和非代码方式两种。
非代码方式包括:
完善文档、翻译文档;翻译技术性、实践性文章;投稿实践性、原理性文章;成为布道师;社区管理、答疑;会议分享;测试反馈;用户反馈等。
代码方式包括:
查找Bug;编写修复代码;开发新功能;提交代码贡献;参与代码审查等。


你的好友秀秀子拍了拍你
并请你帮她点一下“分享”
