【hadoop环境搭建】

发布于:2022-08-05 ⋅ 阅读:(399) ⋅ 点赞:(0)

Linux搭建hadoop环境

1.查看Linux系统上是否装有Java环境

java -version 查看版本信息以及 echo $JAVA_HOME 命令查看Java的路径

2.下载hadoop安装包

http://hadoop.apache.org/

1)图一:点击download

在这里插入图片描述

2)图二:选择对应版本点击source

在这里插入图片描述

3)图三:点击链接进行下载

在这里插入图片描述

3.将下载的包上传到Linux系统,解压到指定的目录

	tar -zxvf aaa.tar.gz -C /tmp/

4.修改配置文件

注意
配置文件所在位置:/root/hadoop-2.10.1/etc/hadoop(具体位置根据你解压的位置去找,我的是在根目录下直接解压的)

1)hadoop-env.sh配置

找到export JAVA_HOME,将自己的jdk路径粘贴进去
在这里插入图片描述

2)core-site.xml配置

<configuration>
   <property>
         <name>hadoop.tmp.dir</name>
         <value>file:/root/hadoop-2.10.1/tmp</value>
         <description>路径根据自己的实际位置去修改</description>
    </property>

   <property>
     <name>fs.defaultFS</name>
     <value>hdfs://0.0.0.0:9000</value>
  </property>

    <property>
        <name>hadoop.logfile.size</name>
        <value>10000000</value>
        <description>每个日志文件的最大值,单位:bytes </description>
    </property>

    <property>
        <name>hadoop.logfile.count</name>
        <value>10</value>
        <description>日志文件的最大数量</description>
    </property>
</configuration>

3)hdfs-site.xml配置

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

    <property>
     <name>dfs.namenode.name.dir</name>
     <value>file:/root/hadoop-2.10.1/tmp/dfs/name</value>
    </property>

    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/root/hadoop-2.10.1/tmp/dfs/data</value>
    </property>
</configuration>

4)profile配置(路径:/etc)

HADOOP_HOME=/root/hadoop-2.10.1
PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

修改完profile文件后,使用hadoop version命令出现该截图,则配置成功

4.格式化HDFS以及启动HADOOP

格式化hdfs:

hdfs namenode -format

启动HADOOP:// 这里可能需要输入三次linux系统密码

./sbin/start.all.sh 

5.查看

jps命令查看是否启动成功,成功截图如下,这三个缺一不可
在这里插入图片描述如果使用jps命令,出现上面的截图,那么已经成功搭建了hadoop环境

本文含有隐藏内容,请 开通VIP 后查看

网站公告

今日签到

点亮在社区的每一天
去签到