1.集群规划
服务/主机 node01、node02为主节点
node01 |
node02 |
node03 |
node04 |
node05 |
zookeeper |
zookeeper |
zookeeper |
||
hadoop |
hadoop |
hadoop |
hadoop |
hadoop |
hive-metastore |
hiveserver2 |
hiveserver2 |
||
spark |
spark |
spark |
sparksql |
sparksql |
kafka |
kafka |
kafka |
||
hbase |
hbase |
hbsae |
hbase |
hbsae |
flink |
flink |
flink |
flink |
flink |
azkaban |
azkaban |
azkaban |
||
dolphinscheduler |
dolphinscheduler |
dolphinscheduler |
dolphinscheduler |
dolphinscheduler |
2.环境准备
oi2.1 配置静态IP
node01
#配置静态IP
vim /etc/sysconfig/network-scripts/ifcfg-ens33
BOOTPROTO="static" # 使用静态IP地址,默认为dhcp
IPADDR="192.168.239.101" # 设置的静态IP地址
NETMASK="255.255.255.0" # 子网掩码
GATEWAY="192.168.239.2" # 网关地址
DNS1="114.114.114.114" # DNS服务器(此设置没有用到,所以我的里面没有添加)
ONBOOT=yes #设置网卡启动方式为 开机启动 并且可以通过系统服务管理器 systemctl 控制网卡
node02
#配置静态IP
vim /etc/sysconfig/network-scripts/ifcfg-ens33
BOOTPROTO="static" # 使用静态IP地址,默认为dhcp
IPADDR="192.168.239.102" # 设置的静态IP地址
NETMASK="255.255.255.0" # 子网掩码
GATEWAY="192.168.239.2" # 网关地址
DNS1="114.114.114.114" # DNS服务器(此设置没有用到,所以我的里面没有添加)
ONBOOT=yes #设置网卡启动方式为 开机启动 并且可以通过系统服务管理器 systemctl 控制网卡
node03
#配置静态IP
vim /etc/sysconfig/network-scripts/ifcfg-ens33
BOOTPROTO="static" # 使用静态IP地址,默认为dhcp
IPADDR="192.168.239.103" # 设置的静态IP地址
NETMASK="255.255.255.0" # 子网掩码
GATEWAY="192.168.239.2" # 网关地址
DNS1="114.114.114.114" # DNS服务器(此设置没有用到,所以我的里面没有添加)
ONBOOT=yes #设置网卡启动方式为 开机启动 并且可以通过系统服务管理器 systemctl 控制网卡
node04
#配置静态IP
vim /etc/sysconfig/network-scripts/ifcfg-ens33
BOOTPROTO="static" # 使用静态IP地址,默认为dhcp
IPADDR="192.168.239.104" # 设置的静态IP地址
NETMASK="255.255.255.0" # 子网掩码
GATEWAY="192.168.239.2" # 网关地址
DNS1="114.114.114.114" # DNS服务器(此设置没有用到,所以我的里面没有添加)
ONBOOT=yes #设置网卡启动方式为 开机启动 并且可以通过系统服务管理器 systemctl 控制网卡
node05
#配置静态IP
vim /etc/sysconfig/network-scripts/ifcfg-ens33
BOOTPROTO="static" # 使用静态IP地址,默认为dhcp
IPADDR="192.168.239.105" # 设置的静态IP地址
NETMASK="255.255.255.0" # 子网掩码
GATEWAY="192.168.239.2" # 网关地址
DNS1="114.114.114.114" # DNS服务器(此设置没有用到,所以我的里面没有添加)
ONBOOT=yes #设置网卡启动方式为 开机启动 并且可以通过系统服务管理器 systemctl 控制网卡
2.2 配置主机名映射
node01-05
vim /etc/hosts
192.168.239.101 node01
192.168.239.102 node02
192.168.239.103 node03
192.168.239.104 node04
192.168.239.105 node05
2.3 SSH免密登录
node01、node02节点为master节点,需要配置对slave节点免密登录
#node01 node02执行
ssh-keygen -t rsa
#四个回车
ssh-copy-id root@node01 #输入密码
ssh-copy-id root@node02 #输入密码
ssh-copy-id root@node03 #输入密码
ssh-copy-id root@node04 #输入密码
ssh-copy-id root@node05 #输入密码
2.4 集群时间同步
node01为时间服务节点
设置时区node01~node05执行
timedatectl set-timezone Asia/Shanghai
2.node01~node05执行
yum install ntp ntpdate
3.node01 修改配置文件
vim /etc/ntp.conf
#授权下述网段上所有的机器允许从ntp服务器上查询和同步时间
restrict 192.168.239.0 mask 255.255.255.0 nomodify notrap
#这两行内容表示当外部时间不可用时,使用本地时间
server 127.127.1.0 iburst
fudge 127.127.1.0 stratum 10
vi /etc/sysconfig/ntpd
# 增加
SYNC_HWCLOCK=yes
4. 启动ntp服务
node01 执行
systemctl start ntpd
systemctl enable ntpd
5. 配置时间同步
5分钟同步一次
node02~node05 配置定时
crontab -e
*/5 * * * * /usr/sbin/ntpdate node01 > /dev/null 2>&1
本文含有隐藏内容,请 开通VIP 后查看