Linux 部署Hadoop伪分布式集群教程

发布于:2022-12-20 ⋅ 阅读:(186) ⋅ 点赞:(0)

 首先:我们需要下载一些关于Hadoop伪分布式集群需要的工具与tar包

链接:

https://pan.baidu.com/s/1oUw1jDCxfghWsnaWauSHKg

 提取码:6s5a

接下来打开虚拟机终端,先创建一个文件夹用来解压Hadoop的tar包

2842cc6372624dd6ba22c6bf69b5fc01.png

 接着使用xshell远程连接到虚拟机传输Hadoop的tar包(不会使用xshell可以参考这篇文章)http://t.csdn.cn/2fJ9m

b1536d819c894238923979de7846c45e.png输入命令:tar -zvxf hadoop-3.3.0 tar.gz开始解压tar包 

80fd7f676be845cdae5f3c6aec8af312.png 

接下来输入命令:ll就可以查看我们解压好的文件hadoop-3.3.0 

0cf6b94ea3004da0bb9498344b5315a8.png 

接下来我们需要创建一个空文件夹hadooptmp用来装hadoop格式化hdfs时产生文件 

e56c21c2bacd47eb8fa1807abf6f4b12.png 

 紧接着我们需要进入hadoop文件下编辑hadoop-env.sh配置jdk的路径(黑色背景的图片为在xhell中操作的命令直接在虚拟机的终端中输入命令也可以) 

f18fd62fb8e04f03ad8bcbfa5a71afc0.png在hadoop-env.sh中加入export  JAVA_HOME=/.../..(这里的自己安装的jdk的路径) 

98e2fe75be8d41b5ab4cad39e8f17053.png 接下来我们需要配置四个文件,第一个是 core-site.xml,输入命令: vim core-site.xml

63c22bd6996146bd9abb6a77752ed87c.png 

进入 core-site.xml之后配置以下内容

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadooptest:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/software/hadooptmp</value>
</property>
</configuration>

0228637e36da44f0b724ea09dcb58e49.png 

第二个需要配置的文件是hdfs-site.xml,输入命令 vim hdfs-site.xml

4043c27ed34e429eaffec472f61bf697.png 进入后输入配置内容:

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

81ee0741addd4ba2af47d24661c6770e.png第三个需要配置的文件为mapred-site.xml输入命令:vim  mapred-site.xml进行配置

36e042a9df354a96863c9ef111c994f8.png进入文件后输入配置内容

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration> 

27ede42d7c3643f782568cdb9f6183c7.png第四个文件是yarn-site.xml输入命令 :vim yarn-site.xml进行配置

f63a6dcf8c6648a6a2d5adc88e6ece47.png配置内容为:

 <configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

65742ba6dd514482bbd1c0b02e82b8fa.png 

接下来我们需要编辑workers中的内容,输入命令:vim workers进入编辑 

388dac32254b4d5081e29a3385ffd39e.png 把localhost注释掉(前面加入#),然后加入自己的主机名(hadooptest是我的主机名)

d2e66966a0bb4a80b9cec77d7dbd9749.png 

 紧接着我们开始配置环境变量,输入命令:vim ~/.bash_profile

6a0d2a01789a4e2984cbb5d696e29ca2.png 

进入后输入内容

expoet JAVA_HOME=.....(自己的jdk的安装路径) 

export PATH=$JAVA_HOME/bin:$PATH

export HADOOP_HOME=.....(自己的hadoop安装路径)

export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

0236e243b0a7443b9bbc42fd1e40a11d.png 

配置好环境变量之后记得输入命令:source ~/.bash_profile 加载环境变量使环境变量生效

2900181d19614b848631fa9d3da98ebb.png接下来我们需要格式化hdfs输入命令:hadoop namenode -format 

db15ac762b2e452bb47845d8750e0b3f.png 

 格式化完成之后输入命令:start-all.sh启动hadoop

6613c7f0dd1f4b05b1316d3b861adf8f.png启动完成之后输入命令:jps查看启动正在进行的进程(除jps之外中共有五个进程)

162fed76d72849c99c1d3b74c5bd957c.png 

接着进入浏览器中输入192.168.0.107:9870进行访问(192.168.0.107为自己虚拟机配置的IP地址) 

7fced1a5ff5c43399c9eb810c846fbef.png 再把9870改为8088就会出现访问如图所示网页

b0cfd54835d74d99b4851df42a9e30cc.png 这样Hadoop部署伪分布式集群就部署完成了!!!

 

 

本文含有隐藏内容,请 开通VIP 后查看

网站公告

今日签到

点亮在社区的每一天
去签到