大数据调度器--单机版Apache DolphinScheduler 入门到实践：进阶

进阶使用

参数传递

• 局部变量：仅在单个任务中有效，适用于特定任务的独立配置。

• 全局变量：在多个任务间共享，适合跨任务传递日期、配置等通用信息。

局部变量-只针对单个任务

全局变量-多个任务中都需要一个字段

---

目前 ABC 任务都需要一个变量 dt。

B和C都是打印的2023-7-20，唯独A打印的是2023-7-18因为A设置了局部变量，当一个任务有局部变量又有全局变量的时候，以局部变量的值为准（就近原则）

日期

Linux中获取前一天数据的命令：date -d '1 day ago' +'%y%m%d'date1=`date -d '1 day ago' +'%y%m%d'`

系统参数

实战

自定义时间

$[yyyyMMdd], $[HHmmss], $[yyyy-MM-dd]$[yyyyMMdd]也可以写成$[yyyy-MM-dd]$[HHmmss] 也可以添加: $[HH:mm:ss]

资源中心

• 资源上传：用户可以将脚本、数据文件等上传到资源中心，方便在任务中引用。

• 资源使用：在任务配置中直接引用资源中心的文件，提高资源复用性和管理效率。

资源上传

告警通知

• 邮件告警：配置邮件服务器，任务执行完成后发送邮件通知，适用于任务状态报告和异常通知。

• SMS 告警：发送短信通知，适用于紧急情况的通知，但注意可能存在功能限制或 Bug。

邮件告警

vi /opt/installs/dolphinscheduler/conf/alert.properties 不要修改/opt/modules下的dolphinscheduler，这个文件夹下的内容在你安装完之后的那一刻已经没有任何价值了。

修改alert.properties中的文件：# mail server configurationmail.protocol=SMTPmail.server.host=smtp.163.commail.server.port=25mail.sender=18638147931@163.commail.user=18638147931@163.commail.passwd=MAGBDQDGKEHCBVQA# TLSmail.smtp.starttls.enable=false# SSLmail.smtp.ssl.enable=falsemail.smtp.ssl.trust=smtp.exmail.qq.com

./bin/dolphinscheduler-daemon.sh start alert-server./bin/dolphinscheduler-daemon.sh stop alert-server

使用第三方平台 -- 睿象云只需要获取一个睿象云的邮箱即可得到电话通知。

工作流重跑

当一个工作流特长，任务特别复杂的时候，执行到某一处失败了，下一次想从失败的地方开始运行，而不是重新开始。

• 重跑：从头开始，再来一遍

• 恢复失败：从失败的节点开始运行，直到运行结束。

关闭 Linux 中的提醒

cat /dev/null > /var/spool/mail/rootecho "unset MAILCHECK" >> /etc/profilesource /etc/profile

总结

本文由 科技 提供发布支持！