(一) 本地hadoop虚拟机系统设置

发布于:2025-05-21 ⋅ 阅读:(12) ⋅ 点赞:(0)

1.配置固定IP地址(每一台都配置)

开启node1,修改主机名为node1,并修改固定IP为:192.168.88.131

# 修改主机名
hostnamectl set-hostname node1

# 修改IP
vim /etc/sysconfig/network-scripts/ifcfg-ens33
IPADDR="192.168.88.131"

# 重启网卡
systemctl stop network
systemctl start network
# 直接重启
systemctl restart network

同样的操作启动node2,node3

修改node2主机名为node2,设置ip为192.168.88.132

修改node3主机名为node3,设置ip为192.168.88.133

2.配置主机名映射(每一台都配置)

# 在windows中修改hosts文件("C:/Windows/System32/drivers/etc/hosts")
192.168.88.131 node1
192.168.88.132 node2
192.168.88.133 node3
# 在3台linux的/etc/hosts文件中,填入如下内容(3台都要添加)
192.168.88.131 node1
192.168.88.132 node2
192.168.88.133 node3

3.配置SSH免密登录(每一台都配置)

# 在每一台机器都执行
ssh-keygen -t rsa -b 4096

# 在每一台机器都执行(ssh-copy-id [选项] [用户名@]远程主机地址)
# 如果直接使用 ssh-copy-id 域名(不指定用户名),命令会默认使用当前本地用户名作为远程服务器的目标用户名。
ssh-id-copy node1
ssh-id-copy node2
ssh-id-copy node3
# 执行完毕后,node1、node2、node3之间将完成root用户之间的免密登录

4.创建hadoop用户并配置免密登录(每一台都配置)

后续大数据的软件,将不会以root用户启动(确保安全,养成良好的习惯)。

我们为大数据的软件创建一个单独的用户hadoop,并为三台服务器同样配置hadoop用户的免密互通

# 创建hadoop用户
useradd hadoop
passwd hadoop

后续执行3.配置SSH免密登录

5.JDK环境部署(默认使用jdk1.8,每一台都部署)

jdk-8u202-linux-x64.tar.gz软件包链接: https://pan.baidu.com/s/15Ll3Hg-XmNHjMo57L4fStg?pwd=s7bh

# 1.创建文件夹,用来部署jdk,都部署到:/export/server中
mkdir -p /export/server

# 2.解压缩jdk安装文件
tar -zxvf jdk-8u202-linux-x64.tar.gz -C /export/server

# 3.配置jdk的软链接
ln -s /export/server/jdk-8u202-linux-x64.tar.gz /export/server/jdk

# 4.配置JAVA_HOME环境变量,并将JAVA_HOME/bin添加到PATH环境变量中
vim /etc/profile
export JAVA_HOME=/export/servers/jdk
export PATH=$JAVA_HOME/bin:$PATH

# 5.生效环境变量
source /etc/profile

# 6.配置java执行程序的软连接
rm -f /usr/bin/java		# 删除系统自带的java程序
ln -s /export/servers/jdk/bin/java /usr/bin/java	# 软链接我们自己安装的java程序

# 7.验证
java -version
javac -version

6.关闭防火墙和SELinux(每一台都配置)

# 集群化软件之间需要通过端口互相通讯,为了避免出现网络不通的问题,我们可以简单的在集群内部关闭防火墙
systemctl stop firewalld
systemctl disable firewalld

# Linux有一个安全模块:SELinux,用以恨制用户和程序的相关权限,来确保系统的安全稳定。在当前,我们只需要关闭SELinux功能,避免导致后面的软件运行出现问题即可.
vim /etc/sysconfig/selinux
# 将第七行,SELINUX=enforcing 改为
SELINUX=disabled
# 保存退出后,重启虚拟机即可,千万要注意disabled单词不要写错,不然无法启动系统

7.修改时区并配置时间同步(每一台都配置)

替换yum源为阿里镜像源

# 备份原有的 yum 源配置
sudo cp /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup 
#下载阿里云的 CentOS 镜像配置文件
sudo curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo 
# 更新缓存
sudo yum clean all 	
sudo yum makecache
# 1.安装ntp软件
yum install -y ntp

# 2.更新时区
rm -f /etc/localtime
sudo ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

# 3.同步时间
ntpdate -u ntp.aliyun.com

# 4.开启ntp服务并设置开机自启
systemctl start ntpd
systemctl enable ntpd

网站公告

今日签到

点亮在社区的每一天
去签到