Apache DolphinScheduler(2.x和3.x版本) 本地环境搭建教程一览

本地开发搭建更多的是为了方便调试代码,用于调试现有的逻辑,定位问题,学习源码等,如果有现成的测试环境,建议不要在本地在安装额外的Mysql等环境了,直接使用测试环境的MysqlZK等环境,那就跳过这一步往后看

在迅速变化的技术领域,本地环境的搭建和调试对于软件开发的效率和效果至关重要。本文将详细介绍如何为Apache DolphinScheduler搭建一个高效的本地开发环境,包括2.x和3.x版本的设置方法。

1717061621745388fbc9f380a1c77aab968e573459eb6

无论您是初学者还是有经验的开发者,本指南都将帮助您快速启动并运行,有效地进行本地代码调试。

依赖项

  • Mysql

  • ZooKeeper

说明

其他的 Git、Maven、JDK、Node等工具,这里不做详细安装说明。

注意Apache DolphinScheduler 2.x 版本使用 node v12.20 , 3.x 版本使用 node v16.13+。

本地开发搭建更多的是为了方便调试代码,用于调试现有的逻辑,定位问题,学习源码等,如果有现成的测试环境,建议不要在本地在安装额外的Mysql等环境了,直接使用测试环境的 Mysql、ZK 等环境,那就跳过这一步往后看!

如果你没有测试环境,本地还是需要搭建 Mysql 和 ZooKeeper 的话,也非常简单。

安装 ZooKeeper

https://archive.apache.org/dist/zookeeper/zookeeper-3.6.3/

17170618210346cd2d00afac2d15d2c7daf759e2785a9

① 下载之后,解压到一个目录 ,在这个目录下新建 zkDatazkLog 文件夹。
② 将 Conf 目录下的 zoo_sample.cfg 文件,复制一份,重命名为 zoo.cfg,修改其中数据和日志的配置,如:

dataDir=/data/zookeeper/data ## 此处使用绝对路径,具体路径根据实际情况dataLogDir=/data/zookeeper/datalog

③ 运行 ./bin/zkServer.sh

安装Mysql

访问 https://dev.mysql.com/downloads/mysql/

Mac用户:

1717061821177490f3d172cbc03e546f1a2fe302bc5b5

Windows 用户:

1717061821192975d468b1afc3aecaf7691938bccf996

其他的,安装一直点Next即可。

安装完 Mysql 之后,需要初始化数据。
① 在Mysql中新建库,用于DolphinScheduler调用

CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

② 新建DolphinScheduler用户,并赋予DolphinScheduler库权限

CREATE USER 'dolphinscheduler'@'%' IDENTIFIED BY 'dolphinscheduler';GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'%';CREATE USER 'dolphinscheduler'@'localhost' IDENTIFIED BY 'dolphinscheduler';GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'localhost';FLUSH PRIVILEGES;

③ 执行 SQL
在 Mysql 的 DolphinScheduler 库中执行 DolphinScheduler源码目录下的\*\*dolphinscheduler/dolphinscheduler-dao/src/main/resources/sql/dolphinscheduler_mysql.sql \*\*的文件,以此完成数据的初始化。

配置注册中心

修改 Zookepper 的配置信息

如果你使用的是本地的 ZK,配置默认就是 127.0.0.1:2181 ,这一步可以跳过,不需要修改。

如果你是用的是其他服务器的 ZK,修改下图中位置的连接信息即可。

17170618212065413b8d643ab803f70054715026b59d3

启动后端

说明

这里呢,2.x 版本和 3.x 版本会有点不一样。如图:

17170618211777bbd956c94f9b4ad8e08670d3de4dc37

17170618211911e262c315d191e27925a30b059234040

在修改的时候,请注意找到对应的位置。

启动 API 服务

① 2.X 版本和 3.X 版本一样,在 dolphinscheduler-api 模块的 resources 下面,新增 yaml 文件 application-mysql.yaml

内容如下:注意修改成自己的 Mysql 连接信息

spring:  datasource:    driver-class-name: com.mysql.cj.jdbc.Driver    url: jdbc:mysql://你的IP:3306/数据库?characterEncoding=UTF-8&allowMultiQueries=true&useSSL=false    username: 你的用户    password: 你的密码    hikari:      connection-test-query: select 1      minimum-idle: 5      auto-commit: true      validation-timeout: 3000      pool-name: DolphinScheduler      maximum-pool-size: 50      connection-timeout: 30000      idle-timeout: 600000      leak-detection-threshold: 0      initialization-fail-timeout: 1

图示:

171706182226053f5ad5eb2e37be46255ab976f84cc1f

② 修改日志输出到控制台,在 dolphinscheduler-api 模块的 resources 下面,修改 logback-api.xml 文件。

<root level="INFO">  <appender-ref ref="STDOUT"/>  <appender-ref ref="APILOGFILE"/></root>

图示:

171706182234653e91024349de32de6e4b34f3d79e16e

③ 启动 API 服务 默认端口是:7080
配置 \_VM Options : \_-Dlogging.config=classpath:logback-api.xml -Dspring.profiles.active=mysql,api 把红色部分复制到