提示:文章内容十分详细,请仔细阅读!
文章目录
前言
随着Hadoop的不断发展,Hadoop这门技术也越来越重要,很多人都开启了学习Hadoop,本文就介绍了Hadoop学习要用到的 cent OS 7 系统的安装。
提示:以下是本篇文章正文内容,下面案例可供参考
一、centOS7系统虚拟机是什么?
CentOS7(Community Enterprise Operating System7,中文意思是社区企业操作系统)是Linux发行版之一,它是来自于Red Hat Enterprise Linux依照开放源代码规定释出的源代码所编译而成。由于出自同样的源代码,因此有些要求高度稳定性的服务器以CentOS7替代商业版的Red Hat Enterprise Linux使用。两者的不同,在于CentOS完全开源。由于CentOS7作为服务器系统应用比较广泛,所以此处采用虚拟机CentOS7系统来模拟服务器环境。
二、虚拟机安装步骤
确保本地电脑已经安装好了VMware Workstation Pro
下载地址:下载 VMware Workstation Pro | CN
清华大学镜像源:
https://mirrors.tuna.tsinghua.edu.cn/centos/7/isos/x86_64/
注:确保系统虚拟化已经打开(如果没打开还要打开虚拟化,百度)
三、Cent OS 系统安装
进入界面直接回车
稍等片刻
设置为当前时间
建议不要启用kdump,因为我们虚拟机内存太小了
下图的hadoop100记得改成bigdata100!
出现以下命令行界面表示安装成功!
登录用户名为root,密码为123456
登录以后,输入shutdown -h now 可以进行关机
网络配置
如果没有vnet8的网卡,需要还原VMware Workstation Pro的网络设置,有就不需要还原了!
记得 :wq 保存退出
修改主机名
确保是bigdata100
修改主机名映射
修改后,使用reboot命令重启虚拟机,然后使用ping 命令查看网络是否可以正常使用
或者使用以下命令重启网络服务
使用ctrl+c退出ping 通界面
Windows操作系统配置域名映射,不要照着输入 CRLF,这是编辑器显示的换行符
修改后我们需要立即生效,所以需要输入以下命令
安装 epel-release 库,是额外的软件安装包,相当于是一个软件仓库
安装完成后界面如下显示
接着安装额外的工具包,包含 ifconfig命令,包含vim编辑器
安装好以后,测试如下
安装vim
安装完成后,我们直接输入 vim,可以出现以下界面表示安装成功!
等以上步骤都完成后,我们再使用快照对当前虚拟机的状态进行一个备份!防止后续操作的时候因为误操作等原因虚拟机出了问题不好解决,可以通过快照回滚的操作进行恢复!(先关机再做快照操作)
五、Xshell 和Xftp 安装使用
打开Xshell,新建一个远程连接
输入主机名等信息
接收并保存密钥
输入用户名
输入密码 123456
登录成功界面
使用xftp
连接界面
可以很方便的进行Windows和虚拟机的文件传输
五、系统配置
关闭防火墙以及防止火墙开机自启动
最好使用tab键自动补全,防止打错单词
接下来我们需要创建一个普通用户,统一用户名为cris,密码为123456
为了方便后期普通用户使用管理员权限,我们需要给普通用户增加管理员权限
然后修改文件,使用键盘上下键找到 %wheel 这一行,然后添加普通用户 cris这一行
添加完成后,我们需要强制保存退出,不能使用 :wq,记得都是英文状态下的字母
接着,我们需要在 /opt 目录下新建两个目录 module和software
然后我们需要修改module和software文件夹的所有者和所属组的权限为cris用户
因为是root用户创建的文件夹,所以默认所有者和所属组权限都是root
修改如下
最后对虚拟机进行关机即可
拍摄快照
测试普通用户登录虚拟机
确定后,密码输入 123456,出现以下界面表示我们使用普通用户cris也能正常登录虚拟机
六,时钟同步
1.chrony
- 集群上必须保证时间一致,否则就有可能出现问题,在centos7上默认安装了chrony。
centOS7上是否存在chronyd:
yum list chrony
systemcrl status chronyd
2.安装chrony
如果不存在,可以安装
yum -y install chrony
- 修改时间服务器
vim /etc/chrony.conf
#配置外部时间服务器,将配置文件中默认的全部注释掉
server ntp1.aliyun.com ##中国授时
#只允许192.168.0网段的客户端进行时间同步
allow 192.168.0.0/24
# 启用RTC(实时时钟)的内核同步
rtcsync
#当外部时间服务器不可用时,采用本地时间作为同步标准
local stratum 10
七,HDFS命令行基本操作
主要内容
- 查看文件和目录
- 创建目录
- 上传文件
- 下载文件
- 删除文件和目录
注:HDFS使用hdfs脚本来进行操作
- hdfs脚本目录:/opt/software/hadoop/hadoop-2.9.2/bin
- cd /opt/software/hadoop/hadoop-2.9.2/bin
查看文件和目录
hdfs dfs -ls /
创建目录
hdfs dfs -mkdir /test
上传文件
- linux操作系统上的文件上传到HDFS分布式文件系统
- 以/opt/testData/hdfs/目录下的hadoop-2.9.2.tar.gz文件为例
- 文件上传和查看演示
hdfs dfs -put /opt/testData/hdfs/hadoop-2.9.2.tar.gz /test
hdfs dfs -ls /test
下载文件
- 先把/opt/testData/hdfs/目录下的hadoop-2.9.2.tar.gz文件删除,从分布式文件系统下载到这个目录
- 下载操作
cd /opt/testData/hdfs/
rm -rf hadoop-2.9.2.tar.gz
hdfs dfs -get /test/hadoop-2.9.2.tar.gz /opt/testData/hdfs/
hdfs dfs -get /test/hadoop-2.9.2.tar.gz /opt/testData/hdfs/hadoop.tar.gz
删除文件
hdfs dfs -rm /test/hadoop-2.9.2.tar.gz
删除目录
hdfs dfs -rmdir /test
八,linux命令基础说明
命令的基本格式
command [-optons] [parameter]
command |
[-options] |
[parameter] |
命令名称 |
选项 |
传递给命令的参数 |
[] 代表命令可选
help&man
- --help
command --help
显示command的帮助信息
- man
查询command的使用手册。manual,是linux提供的手册
操作手册中的操作按键
操作按键 |
功能 |
空格 |
显示下一页 |
回车 |
显示下一行 |
b |
back,显示上一页 |
f |
forward,向前和空格效果一样 |
q |
退出 |
最常用的命令
命令 |
功能 |
ls |
list,列表显示当前所在路径 |
pwd |
print work directory,查看当前所在目录 |
cd 路径名称 |
change directory,跳转到指定路径 |
touch 文件名 |
创建文件 |
mkdir 文件夹名称 |
make directory,创建文件夹 |
rm 文件名 |
remove,删除指定文件 |
clear |
清屏 |
快捷键
快捷键 |
功能 |
tab |
自动补全 |
ctrl+alt+t |
创建新的终端窗口 |
ctrl+a |
光标移动到开始位置 |
ctrl+e |
光标移动到末尾 |
ctrl+l |
清屏,相当于执行clear命令 |
Ctrl+d 特殊的二进制值,表示EOF 在shell中表示退出当前shell
Ctrl+ z 任务暂停
Ctrl + u 删除光标之前到行首的字符
Ctrl + k 删除光标之前到行尾的字符
Ctrl + c 强制中断程序的执行,进程已经终止
Ctrl + a 光标移动到行首(ahead of line),相当于通常的Home键
Ctrl + e 光标移动到行尾(end of line)
Ctrl + f 光标向前(forward)移动一个字符位置
Ctrl + b 光标往回(backward)移动一个字符位置
Ctrl + l 清屏,相当于执行clear命令
Ctrl + r 显示:号提示,根据用户输入查找相关历史命令(reverse-i-search)
Ctrl + w 删除从光标位置前到当前所处单词(word)的开头
Ctrl + t 交换光标位置前的两个字符
Ctrl + y 粘贴最后一次被删除的单词
Ctrl + Alt + d 显示桌面
Alt + b 光标往回(backward)移动到前一个单词
Alt + d删除从光标位置到当前所处单词的末尾
Alt + F2 运行
Alt + F4 关闭当前窗口
Alt + F9 最小化当前窗口
Alt + F10 最大化当前窗口
Alt + Tab 切换窗口
Alt +按住左键 移动窗口(或在最下面的任务栏滚动鼠标滑轮)
总结
提示:这里对文章进行总结:
以上就是今天要讲的内容,本文仅仅简单介绍了Cent OS7系统以及安装,HDFS的常用命令,linux命令基础说明。