大数据环境搭建

发布于:2025-03-25 ⋅ 阅读:(132) ⋅ 点赞:(0)

目录

一:虚拟机:VirtualBox

二:Shell工具:MobaXterm

三:实用工具

3.1:BigData File Viewer工具

3.1:notePad++

四:安装脚本

五:JDK和Hadoop

5.1:安装

5.2:启动

5.3:Hadoop可视化访问

5.4:关机


一:虚拟机:VirtualBox

        VirtualBox-6.0.24-139119-Win

1.1:默认配置


1.2:导入3个node

1.3:启动三个node

(有的电脑可能启动失败可以看看:VirtualBox 不能为虚拟电脑打开一个新任务(Failed to get device handle and/or partition ID for 0000000001c5fb30 )-CSDN博客

二:Shell工具:MobaXterm


下载地址:
MobaXterm Xserver with SSH, telnet, RDP, VNC and X11 - Home Edition

shell工具连接三个虚拟机
三台机器地址分别是192.168.56.151、192.168.56.152​​​、192.168.56.153
账号root 密码123456


三:实用工具

3.1:BigData File Viewer工具

    大数据中有各种各样的格式,有的我们可以直接看,而有的底层是二进制格式的(比如.ORC格式),对于这种数据无法直接看。
通过cmd(小技巧:shift+右键 直接进入到cmd目录中)

java -jar .\BigdataFileViewer-1.2.1-SNAPSHOT-jar-with-dependencies.jar

如果是jdk21就这个命令

java --add-opens java.base/java.nio=ALL-UNNAMED --add-opens java.base/java.lang=ALL-UNNAMED -jar BigdataFileViewer-1.3-SNAPSHOT-jar-with-dependencies.jar

这个工具可以查看本地,也可以看远程HDFS的

3.1:notePad++

notepad++下载NppFTP插件,连接远程,方便修改文件。而不用vi命另
notepad++远程连接虚拟机_nppftp插件如何使用明文连接-CSDN博客


四:安装脚本

git clone https://gitee.com/several-boats/playground.git
cd playground/
chmod +x playground.sh
./playground.sh install
source /etc/profile
cd ~

五:JDK和Hadoop

5.1:安装

先把两个安装包(hadoop-3.3.6.tar.gz\jdk-8u191-linux-x64.tar.gz)用shell工具拖拽到/root下
playground add jdk-8u191-linux-x64.tar.gz
playground add hadoop-3.3.6.tar.gz
playground init
以上信息是否正确---y
是否安装JDK--yes
是否修改jdk信息--n
source /etc/profile
java -version
playground config hadoop
是否要更新-- y
安装包序列号---1(选Hadoop)
需要安装到哪些节点---node01,node02,node03
主节点---node01
playground update config
playground install hadoop
source /etc/profile
是否修改Hadoop安装信息--n
source /etc/profile
hadoop namenode -format --force
cd ~

5.2:启动

cd ~
start-all.sh

安装完后再对另两个机器进行source /etc/profile命令


5.3:Hadoop可视化访问

HDFS:

        192.168.56.151:9870----Hadoop3

        192.168.56.151:50070----Hadoop2

        里面有一些值得看的信息Live Nodes表示存活的节点

Yarn:

        192.168.56.151:8088

5.4:关机

cd ~
stop-all.sh

点击virtualBox三个node,点击停止-正常关机

平常最好备份下