Awk 是一个维护和处理文本数据文件的强大语言。在文本数据有一定的格式，即每行数据包
含多个以分界符分隔的字段时，显得尤其有用。即便是输入文件没有一定的格式，你仍然可
以使用 awk 进行基本的处理。 Awk 当然也可以没有输入文件，那不是必须的。简言之， AWK
是一种能处理从琐碎的小事到日常例行公事的强大语言。
学习 AWK 的难度要比学习其他任意语言的难度都小。如果你已经掌握了 C 语言，那么你会
发现学习 AWK 将会是如此简单和容易。 AWK 最开始由三个人开发—— A.Aho 、 B.W.Kernighan 和 P.Weinberger 。所有 AWK 的名字来
自他们名字的第一个字母。
下面是 AWK 的几个变种：
AWK 是最原始的 AWK 。
NAWK 是 new AWK
GAWK 是 GNU AWK 。所有 linux 发行版都默认使用 GAWK ，它和 AWK 以及 NAWK
完全兼容。
本书包含了原始 AWK 的所有基础功能，以及 GAWK 特有的一些高级功能。在安装了 NAWK
或 GAWK 的操作系统上，你仍然可以直接使用 awk 命令，它会根据情况调用 nawk 或 gawk 。
以 linux 系统为例，你会看到 awk 是一个指向 gawk 的符号链接，所以在 linux 上执行 awk 或
gawk 将会调用 gawk ：
$ ls -l /bin/awk /bin/gawk
lrwxrwxrwx 1 root root 4 Apr 8 2011 /bin/awk -> gawk
-rwxr-xr-x 1 root root 319336 Dec 3 2008 /bin/gawk
本书示例将用到下面三个文件，请先建立它们，然后用它们来运行所有示例。
employee.txt 文件
employee.txt 文件以逗号作为字段分界符，包含 5 个雇员的记录，其格式如下：
employee-number,employee-name,employee-title
建立该文件 :
$ vi employee.txt
101,John Doe,CEO
102,Jason Smith,IT Manager
103,Raj Reddy,Sysadmin
104,Anand Ram,Developer
105,Jane Miller,Sales Manager
items.txt 文件
items.txt 是一个以逗号作为字段分界符的文本文件，包含 5 条记录，其格式如下：
items-number,item-description,item-category,cost,quantity-available
建立该文件 :
$ vi items.txt
101,HD Camcorder,Video,210,10
102,Refrigerator,Appliance,850,2
103,MP3 Player,Audio,270,15
104,Tennis Racket,Sports,190,20
105,Laser Printer,Office,475,5
items-sold.txt 文件 items-sold.txt 是一个以空格作为字段分界符的文本文件，包含 5 条记录。每条记录都是特定
商品的编号以及当月的销售量 (6 个月 ) 。因此每条记录有 7 个字段。第一个字段是商品编号，
第二个字段到第七个字段是 6 个月内每月的销售量。其格式如下：
item-number qty-sold-month1 qty-sold-month2 qty-sold-month3 qty-sold-month4
qty-sold-month5 qty-sold-month6
建立该文件 :
$ cat items-sold.txt
101 2 10 5 8 10 12
102 0 1 4 3 0 2
103 10 6 11 20 5 13
104 2 3 4 0 6 5
105 10 2 5 7 12 6
51.Awk 命令语法
Awk 基础语法 :
Awk –Fs ‘/pattern/ {action}’ input-file
(或者)
Awk –Fs ‘{action}’ input-file
上面语法中：
z -F 为字段分界符。如果不指定，默认会使用空格作为分界符。
z /pattern/ 和 {action} 需要用单引号引起来。
z /pattern/ 是可选的。如果不指定， awk 将处理输入文件中的所有记录。如果指定一
个模式， awk 则只处理匹配指定的模式的记录。
z {action} 为 awk 命令，可以是单个命令，也可以多个命令。整个 action( 包括里面的
所有命令 ) 都必须放在 { 和 } 之间。
z Input-file 即为要处理的文件
下面是一个演示 awk 语法的非常简单的例子 :
$ awk -F: '/mail/ {print $1}' /etc/passwd
mail
mailnull
这个例子中 :
z -F 指定字段分界符为冒号，即各个字段以冒号分隔。请注意，你也可以把分界符
用双引号引住， -F”:” 也是正确的。
z /mail/ 指定模式， awk 只会处理包含关键字 mail 的记录
z {print $1} 动作部分，该动作只包含一个 awk 命令，它打印匹配 mail 的每条记录的
第 1 个字段
z /etc/passwd 即是输入文件
把 awk 命令放入单独的文件中(awk 脚本)当需要执行很多 awk 命令时，可以把/pattern/{action}这一部分放到单独的文件中，然后调 用它:
awk –Fs –f myscript.awk input-file
myscript.awk 可以使用任意扩展名(或者不用扩展名)。但是加上扩展名.awk 便于维护，也可
以在这个文件中设置字段分界符(后面详述)，然后调用:
awk –f myscript.awk input-file
52.Awk 程序结构(BEGIN,body,END)区域
典型的 awk 程序包含下面三个区域 :
1. BEGIN 区域
Begin 区域的语法 :
BEGIN { awk-commands }
BEGIN 区域的命令只最开始、在 awk 执行 body 区域命令之前执行一次。
z BEGIN 区域很适合用来打印报文头部信息，以及用来初始化变量。
z BEGIN 区域可以有一个或多个 awk 命令
z 关键字 BEGIN 必须要用大写
z BEGIN 区域是可选的
2. body 区域
body 区域的语法 :
/pattern/ {action}
body 区域的命令每次从输入文件读取一行就会执行一次
z 如果输入文件有 10 行，那 body 区域的命令就会执行 10 次 ( 每行执行一次 )
z Body 区域没有用任何关键字表示，只有用正则模式和命令。
3. END block
END 区域的语法 :
END { awk-commands }
END 区域在 awk 执行完所有操作后执行，并且只执行一次。
z END 区域很适合打印报文结尾信息，以及做一些清理动作
z END 区域可以有一个或多个 awk 命令
z 关键字 END 必须要用大写
z END 区域是可选的
Awk 的执行流程
下面的例子包含上上述的三个区域：
$ awk 'BEGIN { FS=":";print "----header----" } \
/mail/ {print $1} \
END {print "----footer----"}' /etc/passwd
----header----
mail
mailnull
----footer----
提示：如果命令很长，即可以放到单行执行，也可以用 \ 折成多行执行。上面的例子用 \ 把命
令折成了 3 行。
在这个例子中： z BEGIN { FS=”:”;print “----header----“ } 为 BEGIN 区域，它设置了字段分界符变量 FS( 下
文详述 ) 的值，然后打印报文头部信息。这个区域仅在 body 区域循环之前执行一次。
z /mail/{print $1} 是 body 区域，包含一个正则模式和一个动作，即在输入文件中搜索
包含关键字 mail 的行，并打印第一个字段。
z END {print “----footer----“ } 是 END 区域，打印报文尾部信息。
z /etc/passwd 是输入文件，每行记录都会执行一次 body 区域里的动作。
上面的例子中，除了可以在命令行上执行外，还可以通过脚本执行。
首先建立下面的文件 myscript.awk, 它包含了 begin,body 和 end ：
$vi myscript.awk
BEGIN {
FS=":"
print "---header---"
}
/mail/ {
print $1
}
END {
print "---footer---"
}
然后，如下所示，在 /etc/passwd 上执行 myscript.awk 文件：
$awk -f myscript.awk /etc/passwd
---header---
mail
---footer---
请注意， awk 脚本中，注释以 # 开头。如果要编写复杂的 awk 脚本，最后接受下面的建议：
在 *awk 文件中写上足够多的注释，这样以后再次使用该脚本时，更易于读懂。
下面是随机列出的一些简单的例子，用例演示 awk 各个区域的不同组合方式：
只有 body 区域 :
awk –F: ‘{ print $1 }’ /etc/passwd
同时具有 begin,body 和 end 区域 :
awk –F: ‘BEGIN{printf “username\n-------\n”}\
{ print $1 }\
END {print “----------“ }’ /etc/passwd
只有 begin 和 body 区域 :
Awk –F: ‘BEGIN {print “UID”} {print $3}’ /etc/passwd
关于使用 BEGIN 区域的提示 :
只使用 BEGIN 区域在 awk 中是符合语法的。在没有使用 body 区域时，不需要指定输入文件，
因为 body 区域只在输入文件上执行。所以在执行和输入文件无关的工作时，可以只使用
BEGIN 区域。下面的不少例子中，只包含 BEGIN 区域，用来说明 awk 的不同部分是如何执行
的。你可以因地制宜地使用下面的例子。
只包含 BEGIN 的简单示例 :
$awk ‘BEGIN { print “Hello,World!” }’
Hello World!
多个输入文件 :
注意，可以为 awk 指定多个输入文件。如果指定了两个文件，那么 body 区域会首先在第一
个文件的所有行上执行，然后在第二个文件的所有行上执行。
多个输入文件示例 :
$awk 'BEING { FS=":";print "---header---" }\
/mail/ {print $1}\
END { print "---footer---"}' /etc/passwd /etc/group
mail:x:8:12:Mailer
mail:x:12:
maildrop:!:59:
---footer---
注意，即是指定了多个文件， BEGIN 和 END 区域，仍然只会执行一次。
53.打印命令
默认情况下， awk 的打印命令 print( 不带任何参数 ) 会打印整行数据。下面的例子等价于 ”cat
employee.txt” 命令 .
$awk '{print}' employee.txt
101,John Doe,CEO
102,Jason Smith,IT Manager
103,Raj Reddy,Sysadmin
104,Anand Ram,Developer
105,Jane Miller,Sales Manager
也可以通过传递变量 ”$ 字段序号 ” 作为 print 的参数来指定要打印的字段。我们猜想例子应该
只打印雇员名称 ( 第 2 个字段 )
$awk '{print $2}' employee.txt
Doe,CEO
Smith,IT
Reddy,Sysadmin
Ram,Developer
Miller,Sales
等等，这个输出好像和预期不符。它打印了从姓氏开始直到记录结尾的所有内容。这是因为
awk 默认的字段分隔符是空格， awk 准确地执行了我们要求的动作，它以空格作为分隔符，
打印第 2 个字段。当使用默认的空格作为字段分隔符时， 101,Johne 变成了第一条记录的第
一个字段， Doe,CEO 变成了第二个字段。因此上面例子中， awk 把 Doe,CEO 作为第二个字段
打印出来了。
要解决这个文件，应该使用-F 选项为 awk 指定一个逗号”,”最为字段分隔符。
$awk -F ',' '{print $2}' employee.txt
John Doe Jason Smith
Raj Reddy
Anand Ram
Jane Miller
当字段分隔符是单个字符时，下面的所有写法都是争取的，即可以把它放在单引号或双引号
中，或者不使用引号：
awk –F ‘,’ ‘{print $2}’ employee.txt
awk –F “,” ‘{print $2}’ employee.txt
awk –F , ‘{print $2}’ employee.txt
ᨀ示 : 也可使用 FS 变量来达到同样的目的。后面会介绍这个 awk 内置变量的用法。
一个简单的例子，用来输出雇员姓名，职位，同时附带 header 和 footer 信息 :
$awk 'BEGIN{FS=",";print "---------\nName Title\n------------\n";}\
{print $2,"\t",$3}\
END {print "-------------------"}' employee.txt
---------
Name Title
------------
John Doe CEO
Jason Smith IT Manager
Raj Reddy Sysadmin
Anand Ram Developer
Jane Miller Sale
这个例子中，输出结果各字段并没有很好地对齐，后面章节将会介绍如何处理这个问题。这
个例子还展示了如何使用 BEGIN 来打印 header 以及如何使用 END 来打印 footer.
请注意， $0 代表整条记录。下面两个命令是等价的，都打印 employee.txt 的所有行 :
awk ‘{print}’ employee.txt
awk ‘{print $0}’ employee.txt
54.模式匹配
你可以只在匹配特殊模式的行数执行 awk 命令。
下面的例子只打印管理者的姓名和职位：
$awk -F ',' '/Manager/ {print $2,$3}' employee.txt
Jason Smith IT Manager
Jane Miller Sales Manager
下面的例子只打印雇员 id 为 102 的雇员的信息：
$awk -F ',' '/^102/{print "Emp id 102 is",$2}' \
> employee.txt
Emp id 102 is Jason Smith
资料来源于《SedandAwk101Hacks》，大家有兴趣可以买一本，也可以关注我，我更新完它。
曾经，我花费大半月将它们跑完，现在啥都忘了，还是要常用。
只为学习交流，不为获利，侵权联系立删。