DolphinScheduler 开发者必看!IDEA 本地调试实战指南

本文整系统梳理了在IDEA中搭建Apache DolphinScheduler本地调试环境的通用流程。

点击蓝字,关注我们

本文整系统梳理了在IDEA中搭建Apache DolphinScheduler本地调试环境的通用流程,包括环境准备、远吗配置、服务启动等核心步骤,供大家参考。

1

基础组件准备

1、JDK : v1.8.x (当前暂不支持 jdk 11)2、Maven : v3.5+3、v18.19.1+,安装pnpm// 全局安装npm install pnpm -g//查看源pnpm config get registry//切换淘宝源pnpm config set registry https://registry.npmmirror.com/4、Zookeeper : 3.6.3(大数据平台用的就是这个zookeeper版本,ds复用大数据平台的zookeeper)。使用最新DS,里面使用的是 curator 5.3.0Curator 5.0 支持zookeeper3.6.X,不再支持 zookeeper3.4.XCurator 4.X 支持zookeeper3.5.X,软兼容3.4.XCurator 2.X 支持zookeeper3.4.X5、mysql> select version();+-----------+| version() |+-----------+5.7.44    |+-----------+1 row in set (0.00 sec)

2

初始化

2.1、初始化数据库

source /Users/xxx/IdeaProjects/dolphinscheduler/dolphinscheduler-dao/src/main/resources/sql/dolphinscheduler_mysql.sql;

2.2、配置common.properties重点配置

# 本地目录,存放封装的脚步data.basedir.path=/tmp/dolphinscheduler# 选择存储介质,比如说HDFS;其中资源中心的资源以及租户目录resource.storage.type=HDFS# 资源中心的根目录resource.storage.upload.base.path=/dolphinscheduler# HDFS操作使用哪个用户,一般使用hdfs用户resource.hdfs.root.user=hdfs# hdfs的defaultFS,如果是ha模式,core-site.xml和hdfs-site.xml放入resources下,这里填写hdfs ha路径resource.hdfs.fs.defaultFS=hdfs://10.253.26.85:8020# 是否为开发模式,不管生产和测试情况,我建议开启。好定位问题。不过需要定时删除,不然会有很多jar包占用磁盘空间development.state=true# yarn端口resource.manager.httpaddress.port=8088# 如果yarn是HA,这里配置yarn的多个ip地址,用逗号分隔。非HA模式,不动yarn.resourcemanager.ha.rm.ids=# 如果是单个yarn,ds1直接修改为yarn的ip地址。如果是HA模式,这里不动yarn.application.status.address=http://ds1:%s/ws/v1/cluster/apps/%s

2.3、配置各个服务的application.yaml

注意: 主要配置 zookeeper连接地址和mysql地址即可,不赘述

2.4、配置各个服务的logback-spring.xml

设置 <appender-ref ref="STDOUT"/> 控制台输出。


3

组件启动

1、MasterServer:在 Intellij IDEA 中执行 org.apache.dolphinscheduler.server.master.MasterServer 中的 main 方法,并配置 VM Options -Dlogging.config=classpath:logback-spring.xml -Ddruid.mysql.usePingMethod=false -Dspring.profiles.active=mysql2、WorkerServer:在 Intellij IDEA 中执行 org.apache.dolphinscheduler.server.worker.WorkerServer 中的 main 方法,并配置 VM Options -Dlogging.config=classpath:logback-spring.xml -Ddruid.mysql.usePingMethod=false -Dspring.profiles.active=mysql3、ApiApplicationServer:在 Intellij IDEA 中执行 org.apache.dolphinscheduler.api.ApiApplicationServer 中的 main 方法,并配置 VM Options -Dlogging.config=classpath:logback-spring.xml -Dspring.profiles.active=api,mysql。启动完成可以浏览 Open API 文档,地址为 http://localhost:12345/dolphinscheduler/swagger-ui/index.html4、前端cd dolphinscheduler-uipnpm installpnpm run dev报错入下 :qiaozhanwei@ dolphinscheduler-ui % pnpm run dev> dolphinscheduler-ui@0.0.0 dev /Users/qiaozhanwei/IdeaProjects/dolphinscheduler/dolphinscheduler-ui> viteerror when starting dev server:Error: listen EADDRNOTAVAIL: address not available 192.168.1.4:5173    at Server.setupListenHandle [as _listen2] (node:net:1313:21)    at listenInCluster (node:net:1378:12)    at GetAddrInfoReqWrap.doListen [as callback] (node:net:1516:7)    at GetAddrInfoReqWrap.onlookup [as oncomplete] (node:dns:73:8)代码修改 :mac 在终端找ip地址输入命令行:ipconfig getifaddr en0找到ip地址后进入项目中找到vite.config.ts文件, 修改如下:import { defineConfig } from 'vite'import vue from '@vitejs/plugin-vue'// https://vitejs.dev/config/export default defineConfig({  plugins: [vue()],  base'/',  server: {      host'192.168.9.178',      port5173,      httpsfalse,      opentrue,        hmr: {              protocol'ws',              host'192.168.9.178'          },  }})登录地址http://10.56.59.243:5173/login,输入 admin/dolphinscheduler123 即可完成登录

4

2.X版本组件启动

api server-Dlogging.config=classpath:logback-api.xml -Ddruid.mysql.usePingMethod=false -Dspring.profiles.active="default,api,mysql"master-Dlogging.config=classpath:logback-master.xml -Ddruid.mysql.usePingMethod=false -Dspring.profiles.active="default,master,mysql"worker-Dlogging.config=classpath:logback-wo

·END·





白鲸开源



白鲸开源是一家开源原生的dataops商业公司,是国家高新技术企业,由多个Apache Foundation Member成立,80%员工都是 Apache Committer,运营2个全球Apache开源项目(DolphinScheduler, SeaTunnel)。白鲸开源已根据全球最佳实践发布商业版产品WhaleStudio(含白鲸数据调度平台WhaleScheduler和白鲸数据集成平台WhaleTunnel)。我们致力于打造下一代开源原生的DataOps 平台,助力企业在大数据和云时代,智能化地完成多数据源、多云及信创环境的数据集成、调度开发和治理,以提高企业解决数据问题的效率,提升企业分析洞察能力和决策能力。



了解更多




公司网站:www.whaleops.com
联系邮箱: xiyan@whaleops.com

如果您希望深入了解文中提到的数据质量功能,或者讨论如何将 WhaleStudio 与你的业务流程相结合,我们非常愿意为你提供帮助。欢迎扫码获取WhaleStudio产品白皮书



下滑探索更多WhaleStudio的优势,让我们帮助你构建一个高效、安全的大数据解决方案。

金融行业的应用实例

↓↓↓点击下面链接阅读↓↓↓

国内某头部理财服务提供商基于白鲸调度系统建立统一调度和监控运维

白鲸调度系统助力国内头部券商打造国产信创化 DataOps 平台

白鲸开源 DataOps 平台助力证券行业实现信创数字化转型

最佳实践 | 从airflow迁移到Apache DolphinScheduler

Apache DolphinScheduler VS WhaleScheduler

代立冬:基于Apache Doris+WhaleTunnel 实现多源实时数据仓库解决方案探索实践

白鲸开源在中信建投 DataOps 应用实践

商业版技术解析实例

点击下面链接阅读↓↓↓

被热议的“DataOps”是炒作?

WhaleScheduler:高并发下的稳定性与性能实践

驾驭数据的未来:WhaleStudio与DataOps的完美结合

WhaleStudio:创新性解决大数据挑战的工具

支持全生态调度:构建企业数字化转型的桥梁


运营开源项目


目前,北京白鲸开源科技有限公司运营着已经从 Apache 基金会毕业的大数据工作流调度平台 Apache DolphinScheduler,以及数据集成平台 Apache SeaTunnel,诚邀全球伙伴加入开源共建!

Apache DolphinScheduler:
仓库地址:https://github.com/apache/dolphinscheduler
官网:https://dolphinscheduler.apache.org/

Apache SeaTunnel:
仓库:https://github.com/apache/seatunnel
官网:https://seatunnel.apache.org/

点个在看你最好看