1.安装并配置虚拟机VMware Workstation（可以根据自己的电脑选择不同的版本进行安装）
2.在虚拟机上安装linux操作系统（centos），并克隆两个操作系统（推荐完整克隆、链接克隆也可以），查询每台虚拟机的ip地址：ip addr，进行Xshell（我用的是securecrt）连接：例如ssh 192.168.121.128
3.修改三个虚拟机的主机名:vi /etc/hostname，分别为hadoop01 hadoop02 hadoop03，重启电脑使其生效
4.建立主机名与网址的映射关系：vi /etc/hosts 直接在后面添加以下内容（注意以下网址根据你的实际情况）：
192.168.121.128 hadoop01
192.168.121.129 hadoop02
192.168.121.130 hadoop03
5.修改网络地址为静态地址：vi /etc/sysconfig/network-scripts/ifcfg-ens33
修改dhcp为static，添加HWADDR=硬件地址（设置-网络地址-高级里有），添加IPADDR NETMASK GATEWAY DNS1相关内容
三个虚拟机做同样的修改
重启网络生效：systemctl restart network.service
6.下载xShell
7.配置免密登录：ssh-keygen -t rsa
将公钥复制到hadoop01 hadoop02 hadoop03
ssh-copy-id hadoop01
ssh-copy-id hadoop02
ssh-copy-id hadoop03
8.关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
9.检查光盘是否已连接：虚拟机-设置-cd/DVD-右上角（已连接选上）
10.安装并开启ftp服务
mount /dev/cdrom /mnt
yum -y install vsftpd ftp
systemctl start vsftpd
systemctl enable vsftpd
11.修改ftp配置文件，使其可以上传
anon_upload_enable=YES
然后重启ftp服务：systemctl restart vsftpd
12.将windows下下载的jdk1.8拷贝到服务器上
ftp://ip地址/pub 将jdk拷贝进去
如果报错（没有权限）：修改pub的权限为777或新建一个目录权限设为777
13.解压jdk
tar -zxvf jdk1.8.tar.gz -C /export/servers/
14.配置环境变量vi /etc/profile
添加以下内容：
export JAVA_HOME=/export/servers/jdk
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
配置完后一定要：source /etc/profile
检查jdk是否安装成功 java -version
15.将windows下下载的hadoop2.7.4拷贝到服务器上
ftp://ip地址/pub 将hadoop拷贝进去
解压缩
配置环境变量：vi /etc/profile
export HADOOP_HOME=/export/servers/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile
检查hadoop2.7.4是否安装成功hadoop version
16.修改hadoop-env.sh修改JAVA_HOME路径：export JAVA_HOME=/export/servers/jdk
17.修改core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop01:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/export/servers/hadoop/tmp</value>
</property>
</configuration>
18.修改hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop02:50090</value>
</property>
</configuration>
19.修改mapred-site.xml
首先需要修改cp mapred-site.xml.template mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
20.修改yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop01</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
21.修改slaves文件vi slaves
删除里面内容，然后添加
hadoop01
hadoop02
hadoop03
22.将主节点的配置文件分发到其他子节点
scp /etc/profile hadoop02:/etc/profile
scp /etc/profile hadoop03:/etc/profile
scp -r /export/ hadoop02:/
scp -r /export/ hadoop03:/
注意：hadoop02和hadoop03节点需要使配置文件生效
source /etc/profile
23.对主节点进行格式化处理（出现has been successfully formatted证明前面的配置都成功）
hdfs namenode -format
24.启动hadoop集群
start-dfs.sh
start-yarn.sh
jps查询出现这样的结果（忽略前面的数字）：
1905 NameNode
2564 Jps
2261 ResourceManager
2363 NodeManager
1997 DataNode
25.通过UI查看Hadoop运行状态，分别为hdfs和yarn集群
http://192.168.96.128:50070
http://192.168.96.128:8088
26.本地ip服务的集群映射
C:\Windows\System32\drivers\etc下的hosts文件添加如下映射
192.168.121.128 hadoop01
192.168.121.129 hadoop02
192.168.121.130 hadoop03
27.测试
http://hadoop0150070
http://hadoop02:8088
28.单词统计
新建一个文件word.txt，输入几个单词:vi /export/data/word.txt
在hdfs创建一个目录input（注意是/input，否则目录成了/user/root/input）：hadoop fs -mkdir /input
进入目录：cd /export/servers/hadoop/share/hadoop/mapreduce
hadoop jar hadoop-mapreduce-examples-2.7.4.jar wordcount /wordcount/input /wordcount/output
即可看到在UI中的单词统计
我在搭建的时候用的IP分别是Hadoop01 192.168.121.134 Hadoop02 192.168.121.135 Hadoop03 192.168.121.136
这个可以在vm编辑中虚拟网卡中设置 我会在写一篇前期准备镜像的文章 大家可以看一下
下面是搭建成功中的几步 可以借鉴一下
