五十二、【Linux系统shell脚本】正则表达式演示

正则表达式类型全景图

正则表达式类型对比表

基础元素字符表

一、基础正则表达式（BRE）

1. 文件内容匹配（grep）

# 创建测试文件
[root@localhost ~]# cat > test.txt <<EOF
apple
banana
cherry
12345
test@example.com
EOF

# 匹配纯数字行
[root@localhost ~]# grep '[0-9]\+' test.txt
12345

# 匹配邮箱地址
[root@localhost ~]# grep '[a-z]\+@[a-z]\+\.com' test.txt
test@example.com

2. 文本替换（sed）

# 替换所有数字为 #
[root@localhost ~]# sed 's/[0-9]\+/#/g' test.txt
apple
banana
cherry
#
test@example.com

# 删除空行
[root@localhost ~]# sed '/^$/d' test.txt
apple
banana
cherry
12345
test@example.com

二、扩展正则表达式（ERE）

1. 多条件匹配（grep -E）

# 匹配水果或邮箱
[root@localhost ~]# grep -E 'apple|banana|cherry|@' test.txt
apple
banana
cherry
test@example.com

# 匹配3位以上数字
[root@localhost ~]# grep -E '[0-9]{3,}' test.txt
12345

2. 分组提取（awk）

# 提取邮箱用户名和域名
[root@localhost ~]# awk '/@/ {match($0, /([a-z]+)@([a-z]+)\.com/, arr); print "用户:" arr[1], "域名:" arr[2]}' test.txt
用户:test 域名:example

三、高级模式匹配

高级元字符

1. 零宽断言（匹配但不捕获）

# 匹配.com前的域名（不含.com）
[root@localhost ~]# grep -P 'example(?=\.com)' test.txt
test@example.com  # 匹配到"example"

2. 非贪婪匹配

# 创建含HTML标签的测试文件
[root@localhost ~]# echo "<div>content</div>" > html.txt

# 非贪婪匹配（最短内容）
[root@localhost ~]# grep -P '<div>.*?</div>' html.txt
<div>content</div>

四、实战应用场景

1. 日志错误提取

# 生成日志文件
[root@localhost ~]# cat > app.log <<EOF
INFO: User login
ERROR: Database connection failed
WARN: Disk space low
ERROR: File not found
EOF

# 提取ERROR行及其描述
[root@localhost ~]# grep -oP 'ERROR: \K.*' app.log
Database connection failed
File not found

2. 配置文件解析

# 解析nginx配置提取监听端口
[root@localhost ~]# cat > nginx.conf <<EOF
server {
    listen 80;
    server_name localhost;
}
server {
    listen 443 ssl;
    server_name example.com;
}
EOF

[root@localhost ~]# grep -Po 'listen \K[0-9]+' nginx.conf
80
443

3. 数据验证

# 验证IP地址格式
[root@localhost ~]# ip="192.168.1.100"
[root@localhost ~]# if [[ $ip =~ ^[0-9]{1,3}(\.[0-9]{1,3}){3}$ ]]; then
> echo "有效IP"
> else
> echo "无效IP"
> fi
有效IP

命令总结表格

功能作用详解

1. 正则表达式类型对比

2. 核心元字符速查

3. 分组与捕获

# 提取日期格式（YYYY-MM-DD）
echo "2025-07-28" | grep -Po '(\d{4})-(\d{2})-(\d{2})'
# 输出：2025-07-28

# 使用后向引用（sed）
echo "hello world" | sed 's/$hello$ $world$/\2 \1/'
# 输出：world hello

• 分组编号：
  • \0：整个匹配内容
  • \1、\2：第1、2个捕获组

4. 实战技巧

日志分析

# 提取HTTP状态码
grep -Po 'HTTP/1.\d" \K[0-9]{3}' access.log

# 统计错误码分布
awk '/ERROR/{match($0, /ERROR: (.+)/, arr); print arr[1]}' app.log | sort | uniq -c

数据清洗

# 移除非数字字符
echo "Phone: (123) 456-7890" | sed 's/[^0-9]//g'
# 输出：1234567890

# 规范日期格式
echo "28/07/2025" | sed -E 's#([0-9]{2})/([0-9]{2})/([0-9]{4})#\3-\2-\1#'
# 输出：2025-07-28

配置管理

# 批量替换IP地址
sed -i 's/192\.168\.1\.[0-9]\+/10.0.0.1/g' *.conf

# 提取所有用户邮箱
grep -hoE '[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}' /etc/passwd