Apache DolphinScheduler 如何实现自动化打包+单机/集群部署？

时间：2023-09-13 作者：来源：浏览：分类：DolphinScheduler

Apache DolphinScheduler 是一款开源的分布式任务调度系统，旨在帮助用户实现复杂任务的自动化调度和管理。DolphinScheduler 支持多种任务类型，可以在单机或集群环境下运行。下面将介绍如何实现 DolphinScheduler 的自动化打包和单机/集群部署。

Apache 是一款开源的分布式任务调度系统，旨在帮助用户实现复杂任务的自动化调度和管理。DolphinScheduler 支持多种任务类型，可以在单机或集群环境下运行。下面将介绍如何实现 DolphinScheduler 的自动化打包和单机/集群部署。

01

自动化打包

所需环境：maven、jdk

执行以下shell完成代码拉取及打包，打包路径：/opt/action/dolphinscheduler/dolphinscheduler-dist/target/apache-dolphinscheduler-dev-SNAPSHOT-bin.tar.gz

02

单机部署

1、DolphinScheduler运行所需环境

所需环境jdk、zookeeper、mysql

初始化zookeeper（高版本zookeeper推荐使用v3.8及以上版本）环境：

安装包官网下载地址：https://zookeeper.apache.org/

2_20230913_16945889046357570

jdk、mysql这里不做过多赘述。

2、初始化配置

2.1 配置文件初始化

初始化文件要放到指定目录（本文章以/opt/action/tool举例）

2.1.1新建文件夹

3_20230913_16945889046612120

2.1.2新建初始化文件common.properties

4_20230913_16945889046672800

2.1.3新建初始化文件core-site.xml

2.1.4新建初始化文件hdfs-site.xml

2.1.5上传初始化jar包mysql-connector-java-8.0.16.jar
2.1.6上传初始化jar包ojdbc8.jar

2.2 初始化文件替换

7_20230913_16945889047174540

2.3 配置文件内容替换

8_20230913_16945889052275430

3、删除HDFS配置

9_20230913_16945889052187670

4、MySQL初始化

10_20230913_16945889052001220

5、启动DolphinScheduler服务

11_20230913_16945889051972520

03

集群部署

1、开放mysql和zookeeper对外端口
2、集群部署及启动

复制完成初始化的文件夹到指定的服务器，启动指定服务即可完成集群部署，要连同一个Zookeeper和MySQL。

上一篇：如何快速在 Apache DolphinScheduler 新扩展一个任务插件？

下一篇：3.2.0 终极预告！云原生支持新增 Spark on k8S 支持

产品

数据调度平台

数据同步系统

解决方案

数据编排与调度

数据集成同步

MLOps调度

资源

博客

关于我们

白鲸开源

白鲸开源科技是由 Apache DolphinScheduler 和 Apache SeaTunnel开源项目核心团队和来自全球范围内的数据领域专家组建。我们致力于打造下一代云原生 DataOps 平台，助力企业在大数据和云时代，智能化地完成海量数据的处理、调度和治理。

京ICP备2021031971号-1

Apache DolphinScheduler

Apache SeaTunnel

加入我们

社区

关注我们立即咨询

产品