如何在Windows上搭建并运行DolphinScheduler前后端开发环境

包括从源码的下载环境配置数据库初始化依赖安装等具体步骤,帮助开发者在本地快速搭建并运行DolphinScheduler,适用于新手开发者和有一定经验的技术人员

作者:海豚调度研究随笔 

编辑整理:曾辉

前言

Apache DolphinScheduler 是一个优秀的分布式调度系统,广泛应用于大数据处理和自动化任务管理中。本文详细介绍了如何在Windows环境下搭建Apache DolphinScheduler的前后端开发环境。

包括从源码的下载、环境配置、数据库初始化、依赖安装等具体步骤,帮助开发者在本地快速搭建并运行DolphinScheduler,适用于新手开发者和有一定经验的技术人员。

相关链接

一、环境准备

1. 下载源码

首先,前往 DolphinScheduler官网 下载 dolphinscheduler-3.1.9-release.zip 源码压缩包,并将其移动到你的IDEA工作目录中。接着,使用IDEA工具解压并打开该项目。你将看到如下界面:

17260366904272e8cc56c4386c913a8675b7af24ca3f2

2. 修改IDEA项目配置

找到 .idea 文件夹下的 workspace.xml 文件,打开并进行如下修改:

172603669039626b1da0a2a9da8290e66b33fa2561498

<component name="PropertiesComponent"> 下增加一行<property name="dynamic.classpath" value="true"

172603669040697c712437212b823eb472b097f6ad4c9

打开dolphinscheduler-bom模块的pom文件,将MySQL和Oracle的依赖中的<scope>test</scope>注释掉,右上角的Maven要记得点击进行更新。

172603669040697c712437212b823eb472b097f6ad4c9

这将动态调整项目的类路径配置,确保IDEA能够正常加载所需的依赖包。

二、数据库配置

创建DolphinScheduler数据库

在MySQL中创建 dolphinscheduler 数据库,并执行提供的SQL脚本进行数据库初始化。

172603669045419c4b878e5897490348f5576fe375dc2
e75c2064-a32f-4360-840d-9e7284151b95
036983b3-acbe-459c-bf0d-84e474409272
9191562b-b465-4a18-8a6c-b6999b99fa03

配置 application.yaml

打开 dolphinscheduler-api 模块的 application.yaml 文件,修改以下配置:

  • 时区(time-zone):根据需要调整。
  • MySQL 连接信息:填写数据库连接的URL、用户名和密码。
  • Zookeeper配置:根据你的Zookeeper集群配置进行调整。
ac0c32ba-a2c8-4ce9-961e-a41c090563f2
8d1495a6-312a-466d-9f52-51b5f01b4bb0

如果IDEA提示缺少MySQL JDBC驱动,可以点击红灯泡提示进行自动加载。

e72dcd10-89af-4d5c-bfbe-2ba836d41d3a
0b2f7dd5-5383-4d46-8851-b85ee23b74db

确认Quartz调度的JDBC Delegate类为 org.quartz.impl.jdbcjobstore.StdJDBCDelegate

4dd297d8-b3c5-4bb2-bc65-406c9b0d9f9a

本地Zookeeper配置

如果Zookeeper在本地运行且已正确安装,则无需修改Zookeeper相关配置。否则,需要根据你的Zookeeper集群环境进行调整。

14d95119-612e-475e-be1e-4533d066b5e9

三、模块配置

配置 dolphinscheduler-master 模块

dolphinscheduler-master 模块中,打开 application.yaml 文件,确保MySQL、Zookeeper的相关参数配置正确,并根据你的需求调整时区配置。

7a32ebf0-bad8-46c1-b49a-b19addbbc033
0fb18755-5331-4075-9d2f-76ce387fb540

配置 dolphinscheduler-worker 模块

类似于 Master 模块,在 dolphinscheduler-worker 模块的 application.yaml 中,同样需要更新MySQL、Zookeeper和时区等相关配置。

40b9a5c4-a68c-4691-95f5-a4d842506fa6

配置 dolphinscheduler-alert 模块

打开 dolphinscheduler-alert 模块的 application.yaml 文件,修改MySQL的连接信息和时区配置,确保警报模块能够正确连接到数据库。

5044f9b9-df5a-4f98-9c9e-c97c5bcb392a

修改 dolphinscheduler-ui 模块的 package.json为了避免版本冲突,打开 dolphinscheduler-ui 模块的 package.json 文件,去除所有 ^ 符号。

4274bb12-89a2-45d9-8b5a-8394cc252ddc
ab6ddbc5-d56f-4f7a-b5de-78f8d0d23f26

四、启动后端服务

确保你的MySQL数据库和Zookeeper集群已正常启动,依次启动以下后端服务:

  • ApiApplicationServer
  • MasterServer
  • WorkerServer
  • AlertServer

启动成功后,打开浏览器访问API服务的Swagger文档,确认服务是否正常运行:http://localhost:12345/dolphinscheduler/swagger-ui/index.html#/

76f3692b-84db-41db-beb7-604381abd2fc

五、搭建前端开发环境

  1. 安装Node.js和PnpmApache DolphinScheduler的前端依赖于Node.js和Pnpm。

请根据以下链接下载并安装:

  • Node.js (v16.13+):https://nodejs.org/en/download
  • Pnpm (v6.x):https://pnpm.io/installation
112f1e84-4d95-41df-a0c0-a6c554b79f65
  1. 安装前端依赖并启动进入 dolphinscheduler-ui 目录,进入cmd命令行窗口后运行pnpm install,安装后会在目录下生成node_modules目录,然后运行pnpm run dev即可。
a87a6ad1-f5d7-4497-8685-d1095b052429
6bb130de-5e05-4c9d-b2ee-60003103710e
fe784f6f-f513-4a04-90da-2eed13e4e1ef

在浏览器中访问http://localhost:5173,使用默认账号密码 admin/dolphinscheduler123 登录系统,开始使用Apache DolphinScheduler。

820fa9c6-7c00-4450-954a-5db6b5d40acc

结语

通过本教程,你已经成功在Windows系统上搭建并运行了DolphinScheduler的前后端开发环境。这为开发者提供了一个完整的本地开发调试环境,使得对DolphinScheduler的进一步开发和测试更加高效。

希望本文能够帮助你顺利搭建环境,并推动你在DolphinScheduler开发上的进展。如果遇到问题,欢迎参考官方文档或社区支持。