VMware Workstations15 创建centOS7虚拟机 安装hadoop-2.7.3及配置

发布于:2023-01-04 ⋅ 阅读:(524) ⋅ 点赞:(0)

目录

 

          一、VMware Workstations15下载及安装

二、创建虚拟机centOS7

1、下载centOS7镜像文件

          centos-7.9.2009-isos-x86_64安装包下载_开源镜像站-阿里云 

2、 创建虚拟机

 3、挂载镜像

4、启动虚拟机 

三、配置虚拟机及网卡

        1、修改主机名

2、配置网卡 

 3、配置host

 4、设置电脑和虚拟机之间的文件共享

 四、配置hadoop

五、配置第二、三台虚拟机

1、克隆创建虚拟机 

​ 2、配置第二、三台虚拟机

3、配置ssh免密通信 

六、启动hadoop集群

 


一、VMware Workstations15下载及安装

1. VMware官网地址:

 VMware 中国 - 交付面向企业的数字化基础 | CN

https://www.vmware.com/cn/products/workstation-pro.html

输入密钥确定即可

二、创建虚拟机centOS7

1、下载centOS7镜像文件

centos-7.9.2009-isos-x86_64安装包下载_开源镜像站-阿里云

选择4.4G的

2、 创建虚拟机

 

 

3333 

 3、挂载镜像

4、启动虚拟机 

 选择有桌面的(输入命令init 3进入无桌面模式 init 5进入有桌面模式)

 

登录 选择未列出

 

 

三、配置虚拟机及网卡

1、修改主机名

右击打开终端

修改主机名  hostnamectl set-hostname hadoop04

查看主机名  hostnamectl status

重启 reboot

2、配置网卡 

查看 网关 网址配置

配置网卡 vi /etc/sysconfig/network- scripts/ifcfg-ens33

按i进入编辑 按esc再输入    输入:wq  enter保存编辑退出 

                                           输入:q!  enter取消退出编辑

需修改 BOOTPROTO为static

网址IPADDR为IP起止范围内的任意值,前面不变 范围为128至254 如我选取了192.168.153.158

DNS1与网关相同

DNS2和DNS3可复制

 查看网卡 ifconfig

Ping网络 ping www.baidu.com

重启网络 service network restart

再ping

Ctrl + z停止 ping

 3、配置host

hadoop04对应的是IP地址  hadoop05和hadoop06会稍后修改ip为与之对应的值

 4、设置电脑和虚拟机之间的文件共享

设置电脑和虚拟机间的共享文件 share

Share 文件在 /mnt/hgfs里面

使用mkdir /root/java 创建文件夹java

下载jdk

 https://www.oracle.com/java/technologies/downloads/#java8

 没Oracle账户的注册一个就行

下载hadoop-2.7.3

Index of /dist/hadoop/core/hadoop-2.7.3

下载红色字体的 

将jdk和hadoop安装包复制到share文件夹里

进入虚拟机将share 里的java安装包复制到/root/java里面 解压tar -xzvf java-1.8.0-102.tar.gz

配置jdk环境 vi /etc/profile

Java -version 查看

同样创建hadoop文件夹并复制hadoop安装包到里面

mkdir /root/Hadoop

如果没解压就解压 tar -xzvf hadoop-2.7.3.tar.gz到同一文件夹

配置hadoop环境 vi /etc/profile

配置时jdk和hadoop文件路径要和自己虚拟机中文件路径对应,文件名称也要对应 

 四、配置hadoop

在/root/hadoop里创建文件夹

mkdir tmp dfs dfs/data dfs/name

配置hadoopcore-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xml文件

四个文件所在位置打开路径 cd /root/Hadoop/Hadoop-2.7.3/etc/Hadoop

列出该路径下的所以文件 ls

注意里面的主机名master对应为hadoop04

配置/root/hadoop/hadoop-2.7.3/etc/hadoop目录下的slaves,删除默认的localhost,增加2hadoop节点:

五、配置第二、三台虚拟机

1、克隆创建虚拟机 

创建虚拟机hadoop05 hadoop06

进行root用户登录

2、配置第二、三台虚拟机

打开终端修改克隆虚拟机的主机名为hadoop05和hadoop06

修改主机名  hostnamectl set-hostname hadoop05

查看主机名 hostnamectl status

重启 reboot

配置hadoop05和hadoop06的网卡

命令 vi /etc/sysconfig/network-scripts/ifcfg-ens33

只需修改IPADDR为与 /etc/hosts里对应的网址

重启网卡

测试网络命令ping www.baidu.com

Ctrl+z停止

测试连接其他虚拟机hadoop04

ping 192.168.153.158

也可以使用ping hadoop04(hosts里的配置使得hadoop04可以代替192.168.153.158使用)

3、配置ssh免密通信 

CentOS默认没有启动ssh无密登录,去掉/etc/ssh/sshd_config其中2行的注释符号#,每台服务器都要设置,

#RSAAuthentication yes

#PubkeyAuthentication yes

修改成:

RSAAuthentication yes

PubkeyAuthentication yes

输入命令,ssh-keygen -t rsa,生成key,都不输入密码,一直回车,/root就会生成.ssh文件夹,每台服务器都要设置

在hadoop04上

进入.ssh文件夹 cd /root/.ssh

输入命令ls可以看到.ssh命令里的文件

输入 touch authorized_keys .ssh里创建文件authorized_keys

在hadoop05上

进入.ssh文件夹 cd /root/.ssh

输入命令ls可以看到.ssh命令里的文件

发送id_rsa.pub到hadoop04   scp id_rsa. pub root@hadoop04: / root/.ssh/id_rsa. pub05

同样在hadoop06上进行操作    scp id_rsa. pub root@hadoop04: / root/.ssh/id_rsa. pub06

在hadoop04上

将所有id_rsa.pub里的文件复制到authorized_keys里面 cat id_rsa.pub* > authorized_keys

查看authorized_keys内容  cat authorized_keys

发送authorized_keys到hadoop05和hadoop06的.ssh里                               scp authorized_keys root@hadoop05:/root/.ssh

scp authorized_keys root@hadoop06:/root/.ssh

到根目录 cd

免密通信测试 ssh hadoop05

输入 ifconfig 查看网卡 IPADDR为192.168.153.168(hadoop05网址)则成功

输入 exit 退出ssh

六、启动hadoop集群

提示:在hadoop04服务器启动hadoop,各从节点会自动启动,进入/root/hadoop/hadoop-2.7.3目录,hadoop的启动和停止都在hadoop04服务器上执行。

初始化,在hadoop-2.7.3目录下输入命令,bin/hdfs namenode –format

启动命令

sbin/start-dfs.sh

sbin/start-yarn.sh

 输入命令,jps,可以看到相关信息

 停止命令,依次执行:sbin/stop-dfs.sh、sbin/stop-yarn.sh

至此,hadoop配置完成了。

本文含有隐藏内容,请 开通VIP 后查看

网站公告

今日签到

点亮在社区的每一天
去签到