Apache DolphinScheduler 新手指南:手把手教你创建第一个工作流!

恭喜你!即将学会 DolphinScheduler 的第一个教程。
17821196979767e66b23c7f6f4554


点亮⭐️

https://github.com/apache/DolphinScheduler



点击蓝字 关注我们



在本文中,我们将使用 Apache DolphinScheduler 逐步创建和运行一个简单的工作流。在这段旅程中,你将学习 DolphinScheduler 的基本概念,并了解运行工作流的最基本配置。我们在本教程中提供了视频和文字两种方式,你可以选择喜欢的方式。

设置DolphinScheduler


在继续之前,你必须先安装并启动 DolphinScheduler。对于初学者,我们建议使用官方 Docker 镜像或 Standalone 服务器来部署 DolphinScheduler。

  • Standalone server:https://dolphinscheduler.apache.org/zh-cn/docs/3.4.2/guide/installation/standalone
  • Docker:https://dolphinscheduler.apache.org/zh-cn/docs/3.4.2/guide/start/docker.md

构建你的第一个工作流


你可以使用默认用户名和密码 admin/dolphinscheduler123 登录 DolphinScheduler,访问地址为 http://localhost:12345/dolphinscheduler/ui

创建租户

租户(Tenant)是使用 DolphinScheduler 时绕不开的一个概念,所以先简单介绍一下租户的概念。

在 DolphinScheduler 中,登录使用的 admin 账户称为用户(User)。为了更好地控制系统资源,DolphinScheduler 引入了租户(Tenant)的概念,用于实际执行任务。

简述如下:

  • 用户:登录 Web UI,在 Web UI 中进行所有操作,包括工作流管理和租户创建。
  • 租户:任务的实际执行者,是 DolphinScheduler Worker 运行任务时使用的 Linux 用户。

我们可以在 DolphinScheduler 的安全中心 -> 租户管理页面创建租户。

1

注意:如果没有关联租户,则会使用默认租户。默认租户为 default,会使用程序启动用户执行任务。

将租户分配给用户

正如我们在上面创建租户部分谈到的,用户只有被分配了租户后才能运行任务。

我们可以在 DolphinScheduler 的安全中心 -> 用户管理页面中将租户分配给特定用户。

2

创建租户并将其分配给用户后,我们就可以开始在 DolphinScheduler 中创建一个简单的工作流了。

创建项目

但是在 DolphinScheduler 中,所有的工作流都必须属于一个项目,所以我们需要首先创建一个项目。

我们可以在 DolphinScheduler 的项目管理页面,点击创建项目按钮来创建项目。

3

创建工作流

现在我们可以为项目 "tutorial" 创建一个工作流。点击我们刚刚创建的项目,进入工作流定义页面,点击创建工作流按钮,我们将跳转到工作流详情页面。

4

创建任务

我们可以使用鼠标从工作流画布的工具栏中拖动要创建的任务。在这种情况下,我们创建一个 Shell 任务。输入任务的必要信息,对于这个简单的工作流,我们只需将属性节点名称填写为脚本即可。之后,我们可以点击保存按钮将任务保存到工作流中。我们使用相同的方式创建另一个任务。

5

设置任务依赖

这样,我们在工作流中有两个不同名称和命令的任务。当前工作流中唯一缺少的是任务依赖关系。我们可以使用鼠标将箭头从上游任务拖到下游任务来添加依赖,然后松开鼠标。你可以看到两个任务之间创建了带箭头的链接,从上游任务指向下游任务。最后,我们可以点击右上角的保存按钮保存工作流,不要忘记填写工作流名称。

6

运行工作流

全部完成后,我们可以在工作流列表中点击上线,然后点击运行按钮来运行工作流。如果你想查看工作流实例,只需进入工作流实例页面,可以看到工作流实例正在运行,状态为执行中。

7

查看日志

如需查看任务日志,请点击工作流实例列表中的工作流实例,然后找到要查看日志的任务,右键点击选择查看日志,你可以看到任务的详细日志。

你可以在日志中看到打印的 Hello DolphinScheduler 和 Ending...,这与我们在创建任务时定义的内容一致。

8

恭喜你!你刚刚完成了 DolphinScheduler 的第一个教程,现在可以在 DolphinScheduler 中运行一些简单的工作流了!




END




178211971287693b0af496dea826c



用户案例


DolphinScheduler Agent开源上线Cisco Webex天翼云Zoom网易邮箱 每日互动 惠生工程作业帮 博世智驾蔚来汽车 长城汽车集度长安汽车思科网讯食行生鲜联通医疗联想新网银行兴业证券唯品富邦消费金融 自如有赞伊利当贝大数据珍岛集团传智教育BigoYY直播 拈花云科太美医疗深圳某智能制造企业
178211971287693b0af496dea826c



迁移实战


Azkaban Ooize(当贝迁移案例)airflow (有赞迁移案例)Air2phin(迁移工具)Airflow
178211971287693b0af496dea826c



最新发版消息



Apache DolphinScheduler 3.4.2 正式发布!新增 Amazon EMR Serverless 插件,增强监控与补数据能力
178211971287693b0af496dea826c



加入社区


关注社区的方式有很多:

  • GitHub: https://github.com/apache/dolphinscheduler
  • 官网:https://dolphinscheduler.apache.org/en-us
  • 订阅开发者邮件:dev@dolphinscheduler@apache.org(向邮箱发送任意内容,收到邮件后回复同意订阅即可)
  • X.com:@DolphinSchedule
  • YouTube:https://www.youtube.com/@apachedolphinscheduler
  • Slack:https://join.slack.com/t/asf-dolphinscheduler/shared_invite/zt-1cmrxsio1-nJHxRJa44jfkrNL_Nsy9Qg

同样地,参与Apache DolphinScheduler 有非常多的参与贡献的方式,主要分为代码方式和非代码方式两种。

非代码方式包括:

完善文档、翻译文档;翻译技术性、实践性文章;投稿实践性、原理性文章;成为布道师;社区管理、答疑;会议分享;测试反馈;用户反馈等。

‍代码方式包括:

查找Bug;编写修复代码;开发新功能;提交代码贡献;参与代码审查等。

贡献第一个PR(文档、代码) 我们也希望是简单的,第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。

社区汇总了以下适合新手的问题列表https://github.com/apache/dolphinscheduler/pulls?q=is%3Apr+is%3Aopen+label%3A%22first+time+contributor%22

优先级问题列表https://github.com/apache/dolphinscheduler/pulls?q=is%3Apr+is%3Aopen+label%3Apriority%3Ahigh

如何参与贡献链接https://dolphinscheduler.apache.org/zh-cn/docs/3.2.2/%E8%B4%A1%E7%8C%AE%E6%8C%87%E5%8D%97_menu/%E5%A6%82%E4%BD%95%E5%8F%82%E4%B8%8E_menu

如果你❤️小海豚,就来为我点亮Star吧!

https://github.com/apache/dolphinscheduler


17821197161903ce91bb9eaa4af79


17821197167666464bafe7d1de408

你的好友小海豚拍了拍你

并请你帮她点一下“分享”