学习大数据,所需更要的shell基础(2)

发布于:2024-05-09 ⋅ 阅读:(29) ⋅ 点赞:(0)

read读取控制台输入

1)基本语法
read (选项) (参数)
①选项:
-p:指定读取值时的提示符;
-t:指定读取值时等待的时间(秒)如果-t不加表示一直等待
②参数
变量:指定读取值的变量名
2)案例实操
提示7秒内,读取控制台输入的名称

touch read.sh
vim read.sh
## 在文件中添加如下内容
#!/bin/bash
read -t 7 -p "Enter your name in 7 seconds :" NN
echo $NN
## 进行测试
bash read.sh

在这里插入图片描述

函数

系统函数

bashname

1)基本语法
basename [string / pathname] [suffix] (功能描述:basename命令会删掉所有的前缀包括最后一个(‘/’)字符,然后将字符串显示出来。
basename 可以理解为取路径里的文件名称
选项:
suffix为后缀,如果suffix被指定了,basename会将pathname或string中的suffix去掉。
2)案例实操
截取该/home/atguigu/banzhang.txt路径的文件名称。

basename /home/atguigu/banzhang.txt 
basename /home/atguigu/banzhang.txt .txt

在这里插入图片描述

dirname

1)基本语法
dirname 文件绝对路径 (功能描述:从给定的包含绝对路径的文件名中去除文件名(非目录的部分),然后返回剩下的路径(目录的部分))
dirname 可以理解为取文件路径的绝对路径名称
2)案例实操
获取banzhang.txt文件的路径

dirname /home/atguigu/banzhang.txt

自定义函数

1)基本语法
[ function ] funname[()]
{
Action;
[return int;]
}
2)经验技巧
(1)必须在调用函数地方之前,先声明函数,shell脚本是逐行运行。不会像其它语言一样先编译。
(2)函数返回值,只能通过$?系统变量获得,可以显示加:return返回,如果不加,将以最后一条命令运行结果,作为返回值。return后跟数值n(0-255)
3)案例实操
计算两个输入参数的和。

touch fun.sh
vim fun.sh
##文件中添加如下内容
#!/bin/bash
function sum()
{
    s=0
    s=$[$1+$2]
    echo "$s"
}

read -p "Please input the number1: " n1;
read -p "Please input the number2: " n2;
sum $n1 $n2;
## 运行测试
bash fun.sh

在这里插入图片描述

Shell工具(重点)

cut

cut的工作就是“剪”,具体的说就是在文件中负责剪切数据用的。cut 命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段输出。
1)基本用法
cut [选项参数] filename
说明:默认分隔符是制表符
2)选项参数说明

选项参数 功能
-f 列号,提取第几列
-d 分隔符,按照指定分隔符分割列,默认是制表符“\t”
-c 按字符进行切割 后加加n 表示取第几列 比如 -c 1

3)案例实操
(1)数据准备

touch cut.sh
vim cut.sh
## 添加如下内容
dong shen
guan zhen
wo  wo
lai  lai
le  le

(2)切割cut.sht第一列

cut -d " " -f 1 cut.sh

(3)切割cut.txt第二、三列

 cut -d " " -f 2,3 cut.sh

(4)在cut.txt文件中切割出guan

cat cut.sh |grep guan | cut -d " " -f 1

(5)选取系统PATH变量值,第2个“:”开始后的所有路径

## 查看环境变量
echo $PATH
echo $PATH | cut -d ":" -f 3

(6)切割ifconfig 后打印的IP地址

ifconfig ens33 | grep netmask | cut -d "i" -f 2 | cut -d " " -f 2

如果不懂,可以进行分割一层层查看

awk

一个强大的文本分析工具,把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行分析处理。
1)基本用法
awk [选项参数] ‘/pattern1/{action1} /pattern2/{action2}…’ filename
pattern:表示awk在数据中查找的内容,就是匹配模式
action:在找到匹配内容时所执行的一系列命令
2)选项参数说明

选项参数 功能
-F 指定输入文件折分隔符
-v 赋值一个用户定义变量

3)案例实操
(1)数据准备

##将/etc/passwd文件复制到当前目录下,并创建一个与源文件相同内容的文件
sudo cp /etc/passwd ./.

(2)搜索passwd文件以root关键字开头的所有行,并输出该行的第7列。

awk -F : '/^root/{print $7}' passwd 

(3)搜索passwd文件以root关键字开头的所有行,并输出该行的第1列和第7列,中间以“,”号分割

awk -F : '/^root/{print $1","$7}' passwd 

注意:只有匹配了pattern的行才会执行action
(4)只显示/etc/passwd的第一列和第七列,以逗号分割,且在所有行前面添加列名user,shell在最后一行添加"dahaige,/bin/zuishuai"。

awk -F : 'BEGIN{print "user, shell"} {print $1","$7} END{print "dahaige,/bin/zuishuai"}' passwd

运行结果
在这里插入图片描述
注意:BEGIN 在所有数据读取行之前执行;END 在所有数据执行之后执行
(5)将passwd文件中的用户id增加数值1并输出

awk -v i=1 -F : '{print $3+i}' passwd

4)awk的内置变量

变量 说明
FILENAME 文件名
NR 已读的记录数(行号)
NF 浏览记录的域的个数(切割后,列的个数)

5)案例实操
(1)统计passwd文件名,每行的行号,每行的列数

awk -F : '{print "filename:" FILENAME  ",linenum:" NR ",col:"NF}' passwd 

(2)查询ifconfig命令输出结果中的空行所在的行号

ifconfig | awk '/^$/{print NR}'

(3)切割IP

ifconfig ens33 | grep netmask | awk -F "inet" '{print $2}' | awk -F " " '{print $1}' 

正则表达式入门

正则表达式使用单个字符串来描述、匹配一系列符合某个语法规则的字符串。在很多文本编辑器里,正则表达式通常被用来检索、替换那些符合某个模式的文本。在Linux中,grep,sed,awk等命令都支持通过正则表达式进行模式匹配。

常规匹配

一串不包含特殊字符的正则表达式匹配它自己,例如

cat /etc/passwd | grep atguigu

就会匹配所有包含atguigu的行。

常用特殊字符

1)特殊字符:^
^ 匹配一行的开头,例如:
cat /etc/passwd | grep ^a
会匹配出所有以a开头的行
2)特殊字符:$
$ 匹配一行的结束,例如

cat /etc/passwd | grep t$

会匹配出所有以t结尾的行
思考:^$ 匹配什么? 这就是空行的意思,处理数据时候筛除空行使用
3)特殊字符:.
匹配一个任意的字符,例如

cat /etc/passwd | grep r..t

会匹配包含rabt,rbbt,rxdt,root等的所有行
4)特殊字符:*
* 不单独使用,他和上一个字符连用,表示匹配上一个字符0次或多次,例如

cat /etc/passwd | grep ro*t

会匹配rt, rot, root, rooot, roooot等所有行
思考:.* 匹配什么?
5)特殊字符:[ ]
[ ] 表示匹配某个范围内的一个字符,例如
[6,8]------匹配6或者8
[0-9]------匹配一个0-9的数字
[0-9]------匹配任意长度的数字字符串
[a-z]------匹配一个a-z之间的字符
[a-z]
------匹配任意长度的字母字符串
[a-c, e-f]-匹配a-c或者e-f之间的任意字符

cat /etc/passwd | grep r[a,b,c]*t

会匹配rt,rat, rbt, rabt, rbact,rabccbaaacbt等等所有行
6)特殊字符:\
\ 表示转义,并不会单独使用。由于所有特殊字符都有其特定匹配模式,当我们想匹配某一特殊字符本身时(例如,我想找出所有包含 ‘$’ 的行),就会碰到困难。此时我们就要将转义字符和特殊字符连用,来表示特殊字符本身,例如

cat passwd | grep a\$b

就会匹配所有包含 a$b 的行。