单机快速部署开源、免费的分布式任务调度系统 ——Apache DolphinScheduler

工作流上线后,我们不清楚任务是不是已经正常开始执行,我们可以查看任务实例


本文主要为大家介绍Apache DolphinScheduler的单机部署方式,方便大家快速体验。

环境准备

需要Java环境,这是一个老生常谈的问题,关于Java环境的安装与配置期望大家都可以熟练掌握。

验证java环境

java -version

172649818960242afa70ade24eed72230d76a17c8596f

下载安装包并解压

使用wget下载安装包


wget https://dlcdn.apache.org/dolphinscheduler/3.2.1/apache-dolphinscheduler-3.2.1-src.tar.gz


解压安装包


tar -xvzf apache-dolphinscheduler-3.2.1-bin.tar.gz

启动DolphinScheduler服务

进入到项目根目录

cd apache-dolphinscheduler-3.2.1-bin

启动服务

./bin/dolphinscheduler-daemon.sh start standalone-server


17264981896212dc360ee1e95bf7c8c742358ba304055

至此,单机部署Apache DolphinScheduler就完成了,是不是非常的简单方便啊!

验证

访问Web UIhttp://localhost:12345/dolphinscheduler/ui,账号和密码分别是admindolphinscheduler123

172649818960798f2964f0dfe2f4214d596d9f3648ce3

登录成功后,我们就可以体验了。

1726498189612f102909e64aaec58b6399413388dc230

停止服务

停止服务和启动服务一样简单

./bin/dolphinscheduler-daemon.sh stop standalone-server

172649818960381833f845c0fa222540885debef2f947

简单案例

为了让大家体验到DolphinScheduler的神奇之处,我接下来为大家介绍如何实现定时往MySQL的表中写入数据。

由于我们需要对Mysql数据库进行读写,所以就需要使用到MySQL的JDBC驱动。那么我们首先需要下载驱动并分别放到api-server/libsworker-server/libs目录下。

wget https://repo1.maven.org/maven2/mysql/mysql-connector-java/8.0.30/mysql-connector-java-8.0.30.jar

1726498189646072fb470adb9754cf16cd2a561514432

完成以后,重新启动服务即可。

  1. 配置Mysql数据源

1726498190375906ba9a31db8f01217f6fd7a04fa5811

填写好数据库的信息,确保测试连接可以正常连接到数据库

17264981903316e4f83ed870a51ce19dc890613e1fe21

17264981903067958f083a5438de39602aeb40706b00e

这样我们就准备好了一个可以用的数据源

app数据库中,需要先创建一张users

  1. 创建一个项目

1726498190362f138a1e8511732f6ef2da008a94e4aea

  1. 创建工作流

172649819036238c435fd1d0eafa194a34d724c95cb73 4. 配置SQL组件 将左侧的SQL组件拖入到右侧的画布中,完成配置

节点名称可以随意写

1726498190362b792b5a2b6de0a26048b744bba45137f

数据源类型选择MYSQL,数据源实例选择前面配置好的数据源app,SQL类型则选择非查询

17264981910430a056604e6889a59c1cac1e247f53c9f

SQL语句则为插入数据,此处我们模拟插入一样的数据

insert into users (name) values ('tsingliu');

1726498191021ad486ef345bcfe270ed74154437c0fac

1726498191036f6b0a7e2a18f5b3909e3f597e14768f3

配置好节点以后,保存工作流

1726498191079f2d6fec287bf8e92aff352103b4b2dae

上线工作流和定时

默认情况下工作流处于下线状态

1726498191116c9dc98301a678edfaf8dcb887873dd10

首先需要上线任务

1726498191114038466af5d9b3eb45ae1859361a5595d

此时就可以点击运行,验证工作流是否配置正常。

多数情况下我们更需要定时执行,可以配置定时规则,我们期望每5s写入一次数据

172649819170436bf8d48aec08bc54bb2c179bb7c779e

17264981917505e6f082166f92ccaea76fb64116505d6

17264981917109da99e1a8595dd0ca3c558196ca1e817

配置好定时规则后,可以点击执行时间,查看接下来五次执行时间是不是和预期一样。

配置好后可以上线定时

1726498191785b273049bf7b715f217e434cac0723a7d

查看日志

工作流上线后,我们不清楚任务是不是已经正常开始执行,我们可以查看任务实例

1726498191845721c35b265361864229bd9f4aa5c2795

可以看到已经有多个任务已经执行成功了,每个任务之间的间隔时间也是5s。

另外如果任务执行失败了,也可以在此处查看详细的日志,方便我们排查问题。

进阶

以上这个简单的案例只能是让大家对Apache DolphinScheduler有一个初步的认知,大家可以根据自身遇到的实际问题来编排自己复杂的工作流,有更多问题欢迎访问官网官方文档。

本文由 白鲸开源科技 提供发布支持!