用Ambari安装DolphinScheduler,超简单!

Ambari是一个用于管理Hadoop集群的工具,虽然Ambari本身并不直接支持DolphinScheduler的安装,但我们可以通过自定义服务的方式将其集成到Ambari中。本文将描述如何使用Ambari安装DolphinScheduler。

Ambari是一个用于管理Hadoop集群的工具,虽然Ambari本身并不直接支持DolphinScheduler的安装,但我们可以通过自定义服务的方式将其集成到Ambari中。本文将描述如何使用Ambari安装DolphinScheduler。

1.将需要集成到Ambari的服务安装包放到该目录下

/var/lib/ambari-server/resources/stacks/HDP/3.1/services

2.重启Ambari-server服务

sudo ambari-server restart

继承完之后在Ambari页面上进行服务安装

  1. 添加服务选择dolphinscheduler 17391709391182a4082735448d957659eae9df09848dc

  2. DolphinScheduler服务配置
    这个选择使用mysql数据作为dolphinscheduler服务的元数据库。17391709391446df480c2dc965b8deecc808ed6ac283e

  3. 服务选择进行安装
    选择两个DS-master,至少两个DS-ALTERS,DS-APIS,其余节点都部署DS-worker节点。173917093917789adffc4a05ddc3240744f84db0df601

  4. 如果在安装DolphinScheduler之前做了namenode-ha则可能会报'hue-desktop-ini'相关报错,则需要对params.py脚本进行修改。1739170939203e536f31636557e1323149c2ee0e85f0e

脚本位置  /var/lib/ambari-server/resources/stacks/HDP/3.3/services/DOLPHINSCHEDULER/package/scripts/params.py 修改内容#hdfs_httpfs_host = config['configurations']['hue-desktop-ini']['hdfs_httpfs_host'] hdfs_httpfs_host = "dfs_ha_enabled" 注释#hdfs_httpfs_host = config['configurations']['hue-desktop-ini']['hdfs_httpfs_host']给hdfs_httpfs_host 任意赋值一个参数让下边的webhdfs_url直接取第一个namenode_hosts[0]

修改完之后保存重启ambari-server服务重新安装DolphinScheduler。

5. 拷贝mysql驱动到所有节点libs目录下

cp /tmp/mysql-connector-j-8.0.33.jar /usr/hdp/current/dolphinscheduler/alert-server/libs/cp /tmp/mysql-connector-j-8.0.33.jar /usr/hdp/current/dolphinscheduler/api-server/libs/cp /tmp/mysql-connector-j-8.0.33.jar /usr/hdp/current/dolphinscheduler/master-server/libs/cp /tmp/mysql-connector-j-8.0.33.jar /usr/hdp/current/dolphinscheduler/worker-server/libs/cp /tmp/mysql-connector-j-8.0.33.jar /usr/hdp/3.3.1.0-004/dolphinscheduler/tools/libs/

6. 因为第二步配置的用户为hdfs用户所以需要将所有服务所属组改为hdfs


1739171151675421b2ace80f788ad93257a73fe1b7376


修改完之后ambari管理平台上启动DolphinScheduler,启动过程中元数据会自动初始化建表。

转载自whiteY,原文链接:https://www.cnblogs.com/whiteY/p/18046586