大数据集成开发环境搭建-01-机器准备

发布于:2023-01-11 ⋅ 阅读:(171) ⋅ 点赞:(0)

1.集群规划

服务/主机 node01、node02为主节点

node01

node02

node03

node04

node05

zookeeper

zookeeper

zookeeper

hadoop

hadoop

hadoop

hadoop

hadoop

hive-metastore

hiveserver2

hiveserver2

spark

spark

spark

sparksql

sparksql

kafka

kafka

kafka

hbase

hbase

hbsae

hbase

hbsae

flink

flink

flink

flink 

flink

azkaban

azkaban

azkaban

dolphinscheduler

dolphinscheduler

dolphinscheduler

dolphinscheduler

dolphinscheduler

2.环境准备

oi2.1 配置静态IP

node01

#配置静态IP
vim /etc/sysconfig/network-scripts/ifcfg-ens33

BOOTPROTO="static" # 使用静态IP地址,默认为dhcp 
IPADDR="192.168.239.101" # 设置的静态IP地址
NETMASK="255.255.255.0" # 子网掩码 
GATEWAY="192.168.239.2" # 网关地址 
DNS1="114.114.114.114" # DNS服务器(此设置没有用到,所以我的里面没有添加)
ONBOOT=yes  #设置网卡启动方式为 开机启动 并且可以通过系统服务管理器 systemctl 控制网卡

node02

#配置静态IP
vim /etc/sysconfig/network-scripts/ifcfg-ens33

BOOTPROTO="static" # 使用静态IP地址,默认为dhcp 
IPADDR="192.168.239.102" # 设置的静态IP地址
NETMASK="255.255.255.0" # 子网掩码 
GATEWAY="192.168.239.2" # 网关地址 
DNS1="114.114.114.114" # DNS服务器(此设置没有用到,所以我的里面没有添加)
ONBOOT=yes  #设置网卡启动方式为 开机启动 并且可以通过系统服务管理器 systemctl 控制网卡

node03

#配置静态IP
vim /etc/sysconfig/network-scripts/ifcfg-ens33

BOOTPROTO="static" # 使用静态IP地址,默认为dhcp 
IPADDR="192.168.239.103" # 设置的静态IP地址
NETMASK="255.255.255.0" # 子网掩码 
GATEWAY="192.168.239.2" # 网关地址 
DNS1="114.114.114.114" # DNS服务器(此设置没有用到,所以我的里面没有添加)
ONBOOT=yes  #设置网卡启动方式为 开机启动 并且可以通过系统服务管理器 systemctl 控制网卡

node04

#配置静态IP
vim /etc/sysconfig/network-scripts/ifcfg-ens33

BOOTPROTO="static" # 使用静态IP地址,默认为dhcp 
IPADDR="192.168.239.104" # 设置的静态IP地址
NETMASK="255.255.255.0" # 子网掩码 
GATEWAY="192.168.239.2" # 网关地址 
DNS1="114.114.114.114" # DNS服务器(此设置没有用到,所以我的里面没有添加)
ONBOOT=yes  #设置网卡启动方式为 开机启动 并且可以通过系统服务管理器 systemctl 控制网卡

node05

#配置静态IP
vim /etc/sysconfig/network-scripts/ifcfg-ens33

BOOTPROTO="static" # 使用静态IP地址,默认为dhcp 
IPADDR="192.168.239.105" # 设置的静态IP地址
NETMASK="255.255.255.0" # 子网掩码 
GATEWAY="192.168.239.2" # 网关地址 
DNS1="114.114.114.114" # DNS服务器(此设置没有用到,所以我的里面没有添加)
ONBOOT=yes  #设置网卡启动方式为 开机启动 并且可以通过系统服务管理器 systemctl 控制网卡

2.2 配置主机名映射

node01-05

vim /etc/hosts

192.168.239.101 node01
192.168.239.102 node02
192.168.239.103 node03
192.168.239.104 node04
192.168.239.105 node05

2.3 SSH免密登录

node01、node02节点为master节点,需要配置对slave节点免密登录

#node01 node02执行
ssh-keygen -t rsa 
#四个回车
ssh-copy-id root@node01 #输入密码
ssh-copy-id root@node02 #输入密码
ssh-copy-id root@node03 #输入密码
ssh-copy-id root@node04 #输入密码
ssh-copy-id root@node05 #输入密码

2.4 集群时间同步

node01为时间服务节点

设置时区node01~node05执行

timedatectl set-timezone Asia/Shanghai

2.node01~node05执行

yum install ntp ntpdate

3.node01 修改配置文件

vim /etc/ntp.conf

#授权下述网段上所有的机器允许从ntp服务器上查询和同步时间
restrict 192.168.239.0 mask 255.255.255.0 nomodify notrap
#这两行内容表示当外部时间不可用时,使用本地时间
server 127.127.1.0 iburst 
fudge 127.127.1.0 stratum 10 

vi /etc/sysconfig/ntpd
# 增加
SYNC_HWCLOCK=yes

4. 启动ntp服务

node01 执行

systemctl start ntpd
systemctl enable ntpd

5. 配置时间同步

5分钟同步一次

node02~node05 配置定时

 crontab -e
 */5 * * * * /usr/sbin/ntpdate node01 > /dev/null 2>&1

本文含有隐藏内容,请 开通VIP 后查看