目录
centos-7.9.2009-isos-x86_64安装包下载_开源镜像站-阿里云
一、VMware Workstations15下载及安装
1. VMware官网地址:
VMware 中国 - 交付面向企业的数字化基础 | CN
输入密钥确定即可
二、创建虚拟机centOS7
1、下载centOS7镜像文件
centos-7.9.2009-isos-x86_64安装包下载_开源镜像站-阿里云
选择4.4G的
2、 创建虚拟机
3333
3、挂载镜像
4、启动虚拟机
选择有桌面的(输入命令init 3进入无桌面模式 init 5进入有桌面模式)
登录 选择未列出
三、配置虚拟机及网卡
1、修改主机名
右击打开终端
修改主机名 hostnamectl set-hostname hadoop04
查看主机名 hostnamectl status
重启 reboot
2、配置网卡
查看 网关 网址配置
配置网卡 vi /etc/sysconfig/network- scripts/ifcfg-ens33
按i进入编辑 按esc再输入 输入:wq enter保存编辑退出
输入:q! enter取消退出编辑
需修改 BOOTPROTO为static
网址IPADDR为IP起止范围内的任意值,前面不变 范围为128至254 如我选取了192.168.153.158
DNS1与网关相同
DNS2和DNS3可复制
查看网卡 ifconfig
Ping网络 ping www.baidu.com
重启网络 service network restart
再ping
Ctrl + z停止 ping
3、配置host
hadoop04对应的是IP地址 hadoop05和hadoop06会稍后修改ip为与之对应的值
4、设置电脑和虚拟机之间的文件共享
设置电脑和虚拟机间的共享文件 share
Share 文件在 /mnt/hgfs里面
使用mkdir /root/java 创建文件夹java
下载jdk
没Oracle账户的注册一个就行
下载hadoop-2.7.3
下载红色字体的
将jdk和hadoop安装包复制到share文件夹里
进入虚拟机将share 里的java安装包复制到/root/java里面 解压tar -xzvf java-1.8.0-102.tar.gz
配置jdk环境 vi /etc/profile
Java -version 查看
同样创建hadoop文件夹并复制hadoop安装包到里面
mkdir /root/Hadoop
如果没解压就解压 tar -xzvf hadoop-2.7.3.tar.gz到同一文件夹
配置hadoop环境 vi /etc/profile
配置时jdk和hadoop文件路径要和自己虚拟机中文件路径对应,文件名称也要对应
四、配置hadoop
在/root/hadoop里创建文件夹
mkdir tmp dfs dfs/data dfs/name
配置hadoop的core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml文件
四个文件所在位置打开路径 cd /root/Hadoop/Hadoop-2.7.3/etc/Hadoop
列出该路径下的所以文件 ls
注意里面的主机名master对应为hadoop04
配置/root/hadoop/hadoop-2.7.3/etc/hadoop目录下的slaves,删除默认的localhost,增加2个hadoop节点:
五、配置第二、三台虚拟机
1、克隆创建虚拟机
创建虚拟机hadoop05 hadoop06
进行root用户登录



2、配置第二、三台虚拟机
打开终端修改克隆虚拟机的主机名为hadoop05和hadoop06
修改主机名 hostnamectl set-hostname hadoop05
查看主机名 hostnamectl status
重启 reboot
配置hadoop05和hadoop06的网卡
命令 vi /etc/sysconfig/network-scripts/ifcfg-ens33
只需修改IPADDR为与 /etc/hosts里对应的网址
重启网卡
测试网络命令ping www.baidu.com
Ctrl+z停止
测试连接其他虚拟机hadoop04
ping 192.168.153.158
也可以使用ping hadoop04(hosts里的配置使得hadoop04可以代替192.168.153.158使用)
3、配置ssh免密通信
CentOS默认没有启动ssh无密登录,去掉/etc/ssh/sshd_config其中2行的注释符号#,每台服务器都要设置,
#RSAAuthentication yes
#PubkeyAuthentication yes
修改成:
RSAAuthentication yes
PubkeyAuthentication yes
输入命令,ssh-keygen -t rsa,生成key,都不输入密码,一直回车,/root就会生成.ssh文件夹,每台服务器都要设置
在hadoop04上
进入.ssh文件夹 cd /root/.ssh
输入命令ls可以看到.ssh命令里的文件
输入 touch authorized_keys 在.ssh里创建文件authorized_keys
在hadoop05上
进入.ssh文件夹 cd /root/.ssh
输入命令ls可以看到.ssh命令里的文件
发送id_rsa.pub到hadoop04 scp id_rsa. pub root@hadoop04: / root/.ssh/id_rsa. pub05
同样在hadoop06上进行操作 scp id_rsa. pub root@hadoop04: / root/.ssh/id_rsa. pub06
在hadoop04上
将所有id_rsa.pub里的文件复制到authorized_keys里面 cat id_rsa.pub* > authorized_keys
查看authorized_keys内容 cat authorized_keys
发送authorized_keys到hadoop05和hadoop06的.ssh里 scp authorized_keys root@hadoop05:/root/.ssh
scp authorized_keys root@hadoop06:/root/.ssh
到根目录 cd
免密通信测试 ssh hadoop05
输入 ifconfig 查看网卡 IPADDR为192.168.153.168(hadoop05网址)则成功
输入 exit 退出ssh
六、启动hadoop集群
提示:在hadoop04服务器启动hadoop,各从节点会自动启动,进入/root/hadoop/hadoop-2.7.3目录,hadoop的启动和停止都在hadoop04服务器上执行。
初始化,在hadoop-2.7.3目录下输入命令,bin/hdfs namenode –format
启动命令
sbin/start-dfs.sh
sbin/start-yarn.sh
输入命令,jps,可以看到相关信息
停止命令,依次执行:sbin/stop-dfs.sh、sbin/stop-yarn.sh
至此,hadoop配置完成了。