安装Hadoop并运行WordCount程序

一、安装 Java

Hadoop 依赖 Java，首先需要安装 Java 开发工具包（JDK）。以 Ubuntu 为例：

bash

sudo apt update
sudo apt install openjdk-8-jdk

安装后，设置环境变量：

bash

echo 'export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64' >> ~/.bashrc
echo 'export PATH=$PATH:$JAVA_HOME/bin' >> ~/.bashrc
source ~/.bashrc

二、安装 Hadoop

1. 下载 Hadoop：

bash

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
tar -xzf hadoop-3.3.6.tar.gz
mv hadoop-3.3.6 /opt/hadoop

1. 配置环境变量：

bash

echo 'export HADOOP_HOME=/opt/hadoop' >> ~/.bashrc
echo 'export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin' >> ~/.bashrc
source ~/.bashrc

1. 配置 Hadoop：
   • core-site.xml：

     xml

     <configuration>
         <property>
             <name>fs.defaultFS</name>
             <value>hdfs://localhost:9000</value>
         </property>
     </configuration>
     

   • hdfs-site.xml：

     xml

     <configuration>
         <property>
             <name>dfs.replication</name>
             <value>1</value>
         </property>
         <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/opt/hadoop/data/namenode</value>
         </property>
         <property>
             <name>dfs.datanode.data.dir</name>
             <value>file:/opt/hadoop/data/datanode</value>
         </property>
     </configuration>
     

三、启动 Hadoop

1. 格式化 NameNode：

bash

hdfs namenode -format

1. 启动 HDFS 和 YARN：

bash

start-dfs.sh
start-yarn.sh

1. 验证服务：
   访问 http://localhost:9870 查看 HDFS 界面，http://localhost:8088 查看 YARN 界面。

四、运行 WordCount 程序

1. 准备输入数据：

bash

echo "Hello Hadoop World" > input.txt
hdfs dfs -mkdir -p /user/input
hdfs dfs -put input.txt /user/input

1. 执行 WordCount：

bash

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar wordcount /user/input /user/output

1. 查看结果：

bash

hdfs dfs -cat /user/output/part-r-00000