04本地机idea连接hadoop2.7.5

发布于:2023-01-04 ⋅ 阅读:(224) ⋅ 点赞:(0)

本地机通过idea连接虚拟机hdfs

环境:CentOS7.5 hadoop2.7.5 ideal2021.3.1(win版)

1 检查虚拟机与宿主机是否能够互相ping

虚拟机需要使用nat网络适配方法,关于vm虚拟机的三种网络适配方法详解,大家可以参考下面的链接:https://blog.csdn.net/qq_40893525/article/details/122247133。

image-20220829094055852

为了使虚拟机和宿主机能够互相ping,需要在vm ware的虚拟网络编辑器中进行编辑,其中子网ip、vm8网卡ip和网关需要在同一网段下。同时虚拟机的ip需要更改为与vm8的ip地址前3位相同(前3位指的是以点进行分割后的前三位)。最终结果如下:

image-20220829094800008

2 windows安装idea并安装插件Big Data Tools

idea大家可以到官网上下载,下载地址:https://www.jetbrains.com.cn/idea/download/#section=windows

idea的安装为傻瓜式操作,一直确定-等待-确定即可。

idea安装完后,需要在settings-Plugins中安装Big Data Tools插件

image-20220829095132669

插件安装完成后,idea主界面右边会出现Big Data Tools的选项栏。

image-20220829095313352

3 宿主机解压hadoop2.7.5和winutils

将虚拟机中hadoop2.7.5的包解压到自己想要喜欢的目录下,然后下载对应版本的winutils,下载地址为:https://github.com/steveloughran/winutils/tree/master,hadoop2.7.5版本可以对应winutils2.7.1。

将winutils中对应hadoop文件夹下所有文件夹或文件全部拷贝到hadoop目录下。

image-20220829100006499

4 配置宿主机中hadoop的系统变量和环境变量

image-20220829100351359

5 idea连接hdfs

虚拟机中使用stall-all.sh启动hdfs。

image-20220829100615320

idea中使用Big Data Tools连接hdfs,测试连接之后就可以点击OK进行连接了。

image-20220829100829000

本文含有隐藏内容,请 开通VIP 后查看

网站公告

今日签到

点亮在社区的每一天
去签到