6. dolphinscheduler-3.0.0伪集群部署

发布于:2024-07-20 ⋅ 阅读:(158) ⋅ 点赞:(0)

环境说明:

主机名:cmc01为例 

操作系统:centos7

安装部署软件 版本 部署方式
centos 7
zookeeper zookeeper-3.4.10 伪分布式
hadoop hadoop-3.1.3 伪分布式
hive hive-3.1.3-bin 伪分布式
clickhouse 21.11.10.1-2 单节点多实例
dolphinscheduler 3.0.0 单节点
kettle pdi-ce-9.3.0.0 单节点
sqoop sqoop-1.4.7 单节点
seatunnel seatunnel-incubating-2.1.2 单节点
spark spark-2.4.8 单节点

1.下载dolphinscheduler: 

   官网:https://dolphinscheduler.apache.org/zh-cn/download/download.html

   解压:

# 解压
tar -zxvf /opt/package/apache-dolphinscheduler-3.0.0-alpha-bin.tar.gz -C /opt/software/

2.配置环境变量

vim ~/.bash_profile
 
# hive
export HIVE_HOME=/opt/software/hive-3.1.3-bin
export HIVE_CONF_DIR=${HIVE_HOME}/conf
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HIVE_HOME/lib/*
export PATH=$PATH:${HIVE_HOME}/bin

# 使用环境变量生效
source ~/.bash_profile

3.配置用户免密及权限

# 创建用户需使用 root 登录
useradd dolphinscheduler

# 添加密码
echo "dolphinscheduler" | passwd --stdin dolphinscheduler

# 配置 sudo 免密
sed -i '$adolphinscheduler  ALL=(ALL)  NOPASSWD: NOPASSWD: ALL' /etc/sudoers
sed -i 's/Defaults    requirett/#Defaults    requirett/g' /etc/sudoers

# 修改目录权限
chown -R dolphinscheduler:dolphinscheduler /opt/software/apache-dolphinscheduler-3.0.0-alpha-bin

# 测试用户免密是否成功
su dolphinscheduler
sudo ls  # 如果此命令不需要输入密码则成功

# 退出当前用户
exit

4.配置机器SSH免密登陆

su dolphinscheduler

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys

5.修改配置文件

  1.修改 install_env.sh 文件

cd /opt/software/apache-dolphinscheduler-3.0.0-alpha-bin/bin/env

# 修改 install_env.sh 文件
vim install_env.sh


网站公告

今日签到

点亮在社区的每一天
去签到