30字掌握Linux文本处理三剑客

以下是针对您提供的结构化大纲的详细内容。我将逐步展开每个部分，确保内容结构清晰、真实可靠。所有解释和示例均基于常见Linux/Unix文本处理工具（如grep、sed、awk）的实际应用，使用中文描述。内容中仅包含必要的命令行示例；由于主题不涉及数学表达式，因此未使用LaTeX格式（如遇数学相关场景，我会按规则处理）。现在，我们从正则表达式基础开始。

1. 正则表达式基础常见元字符

正则表达式（Regex）是一种用于模式匹配的强大工具，常用于文本搜索、替换等操作。元字符是特殊字符，具有特定含义。以下是常见元字符及其解释：

• .：匹配任意单个字符（除换行符）。例如，a.c 匹配 "abc"、"aac" 等。
• *：匹配前一个字符零次或多次。例如，ab*c 匹配 "ac"、"abc"、"abbc" 等。
• +：匹配前一个字符一次或多次。例如，ab+c 匹配 "abc"、"abbc"，但不匹配 "ac"。
• ?：匹配前一个字符零次或一次。例如，ab?c 匹配 "ac" 或 "abc"。
• []：字符类，匹配括号内任意一个字符。例如，[aeiou] 匹配任何元音字母。
• {}：量词，指定匹配次数。例如，a{2,4} 匹配 "aa"、"aaa" 或 "aaaa"。
• |：或操作，匹配左边或右边模式。例如，cat|dog 匹配 "cat" 或 "dog"。
• ()：分组，将模式组合为一个单元。例如，(ab)+ 匹配 "ab"、"abab" 等。
• ^：匹配行首。例如，^start 匹配以 "start" 开头的行。
• $：匹配行尾。例如，end$ 匹配以 "end" 结尾的行。
• \：转义字符，用于匹配元字符本身。例如，\. 匹配句点 "."。
• \d：匹配数字（等价于 [0-9]）。
• \w：匹配单词字符（字母、数字或下划线，等价于 [a-zA-Z0-9_]）。

这些元字符是构建复杂模式的基础，建议通过实践加深理解。

2. grep —— 文本查找常用选项示例

grep 命令用于在文件中搜索文本模式。常用选项包括：

• -i：忽略大小写。
• -v：反向匹配，显示不包含模式的行。
• -r：递归搜索目录中的文件。
• -E：启用扩展正则表达式（支持 +, ?, | 等）。
• -n：显示匹配行的行号。
• -l：仅显示包含匹配项的文件名。

示例：

• 搜索文件 log.txt 中包含 "error" 的行（忽略大小写）：
  grep -i "error" log.txt
• 在目录 /var/log 中递归搜索所有不包含 "success" 的文件：
  grep -r -v "success" /var/log
• 使用扩展正则表达式搜索以 "http" 开头或以 "https" 结尾的行：
  grep -E "^http|https$" access.log

3. sed —— 文本替换与编辑示例

sed 命令是流编辑器，用于文本替换、删除、插入等操作。常用命令：

• s/old/new/g：全局替换 "old" 为 "new"。
• p：打印行。
• d：删除行。
• i：在行前插入文本。
• a：在行后追加文本。

示例：

• 将文件 file.txt 中所有 "foo" 替换为 "bar"：
  sed 's/foo/bar/g' file.txt
• 删除文件 data.log 中包含 "debug" 的行：
  sed '/debug/d' data.log
• 在文件 config.conf 中，在 "server" 行后追加 "port 8080"：
  sed '/server/a port 8080' config.conf

4. awk —— 文本分析与报表示例

awk 命令用于文本分析和生成报告，支持字段处理。基本语法：awk 'pattern {action}' file。

• $0：整行内容。
• $1, $2, ...：第1、2个字段（默认以空格或制表符分隔）。
• NF：字段数量。
• NR：当前行号。
• BEGIN 和 END：处理开始前和结束后的动作。

示例：

• 打印文件 access.log 的第一列（IP地址）：
  awk '{print $1}' access.log
• 统计文件 sales.csv 的行数并计算第三列的总和：
  awk 'BEGIN {sum=0} {sum+=$3} END {print "Total lines:", NR, "Sum:", sum}' sales.csv
• 过滤状态码为 200 的行：
  awk '$9 == 200 {print $0}' access.log

5. 实战案例：Nginx 日志分析

假设 Nginx 访问日志文件为 access.log，格式为 Combined Log Format（包含 IP、时间、请求、状态码等）。以下示例基于真实日志分析。

5.1 访问最多的前 10 个 IP

使用 awk 提取 IP，然后排序和统计：

awk '{print $1}' access.log | sort | uniq -c | sort -nr | head -10

• 解释：awk 提取第一列（IP），sort 排序，uniq -c 计数，sort -nr 按计数降序排序，head -10 取前10。

5.2 查找 404 错误请求

使用 grep 搜索状态码 404：

grep ' 404 ' access.log

• 注意：状态码通常在日志的第9列，搜索时加空格避免误匹配。

5.3 统计状态码分布

使用 awk 统计状态码出现次数：

awk '{print $9}' access.log | sort | uniq -c

• 输出格式：计数 + 状态码（如 200、404）。

5.4 最终脚本

组合以上命令到一个 Shell 脚本 nginx_analysis.sh：

#!/bin/bash
LOG_FILE="access.log"

echo "Top 10 IPs:"
awk '{print $1}' "$LOG_FILE" | sort | uniq -c | sort -nr | head -10

echo -e "\n404 Errors:"
grep ' 404 ' "$LOG_FILE"

echo -e "\nStatus Code Distribution:"
awk '{print $9}' "$LOG_FILE" | sort | uniq -c

• 使用方法：保存脚本，运行 bash nginx_analysis.sh。

6. 总结

本指南覆盖了正则表达式基础、grep、sed 和 awk 的核心用法，并通过 Nginx 日志分析实战强化技能。关键点：

• 正则表达式元字符是模式匹配的基础。
• grep 适合快速文本搜索。
• sed 擅长文本替换和简单编辑。
• awk 用于复杂分析和报告。
• 实际应用中，组合这些工具可高效处理日志等文本数据。

7. 练习题

通过练习巩固知识。假设有文件 sample.log 内容示例：

192.168.1.1 - - [10/Oct/2023:12:00:00 +0000] "GET /index.html HTTP/1.1" 200 1234
192.168.1.2 - - [10/Oct/2023:12:01:00 +0000] "POST /submit HTTP/1.1" 404 5678

7.1 grep 练习

• 任务：在 sample.log 中查找所有状态码为 200 的行。

7.2 sed 练习

• 任务：将 sample.log 中所有 "HTTP/1.1" 替换为 "HTTP/2.0"。

7.3 awk 练习

• 任务：统计 sample.log 中每个 IP 地址的访问次数。

7.4 综合练习（小脚本）

• 任务：编写一个脚本，分析 sample.log，输出以下内容：
  1. 访问次数最多的 IP。
  2. 所有 404 错误请求的详细信息。
  3. 状态码分布统计。

8. 练习题与参考答案

以下是练习题的参考答案。使用前请确保文件存在。

8.1 grep 练习参考答案

grep ' 200 ' sample.log

8.2 sed 练习参考答案

sed 's/HTTP\/1.1/HTTP\/2.0/g' sample.log

8.3 awk 练习参考答案

awk '{print $1}' sample.log | sort | uniq -c

8.4 综合练习（小脚本）参考答案

脚本 analyze_log.sh：

#!/bin/bash
FILE="sample.log"

echo "Most Frequent IP:"
awk '{print $1}' "$FILE" | sort | uniq -c | sort -nr | head -1

echo -e "\n404 Errors:"
grep ' 404 ' "$FILE"

echo -e "\nStatus Code Distribution:"
awk '{print $9}' "$FILE" | sort | uniq -c

运行：bash analyze_log.sh。

这个完整指南旨在帮助您系统学习文本处理工具。如果需更多细节或调整，请随时补充！