『Nginx日志』基于Logrotate实现Nginx自动化、智能化的日志管理

📣读完这篇文章里你能收获到

1. 📈 学习如何通过 Logrotate 自动化 Nginx 日志轮转，节省存储空间并提高效率
2. 🔒 掌握 Logrotate 的高级配置技巧，确保日志数据的安全性和完整性
3. 💡 探索 Nginx 日志的最佳实践，优化网站性能和用户体验
4. 📆 了解如何通过 Logrotate 定期清理旧日志，避免潜在的安全隐患

一、引言

随着网站流量的增长，Nginx 服务器产生的日志文件不断累积，不仅占用大量磁盘空间，而且对日志的查阅、分析和管理带来挑战。本文将详细介绍如何利用 Linux 中强大的日志管理工具——Logrotate，对 Nginx 的访问日志和错误日志进行自动化归档、压缩、清理，实现高效日志管理。一起来探索吧！

1.1 日志文件的重要性

• 监控：实时监控服务器状态与用户行为，及时发现异常流量或潜在安全威胁。
• 故障排查：深入分析日志记录，快速定位并解决问题。
• 审计：满足合规要求，留存历史数据以备审查。

1.2 Nginx 日志概览

• 访问日志：记录客户端请求信息，如IP、请求时间、请求方法、URL、响应状态码等。
• 错误日志：记录服务器内部错误、警告及调试信息。

1.3 面临的问题

• 日志文件增长：持续写入导致单个日志文件体积庞大，影响读取效率。
• 管理挑战：手动清理、备份繁琐，易遗漏重要信息或误删文件。

二、Logrotate 简介

2.1 Logrotate 工具概述

Logrotate 是 CentOS 操作系统内置日志管理工具，该工具可对系统中生成的大量日志文件进行归档管理，其允许对日志文件实行压缩、删除或邮寄等操作。Logrotate 可以按照每天、周、月或达到某一大小的日志文件进行归档操作，Logrotate 基于 anacrontab 实现计划任务，只需在 /etc/logrotate.d 目录下编写相关日志管理配置文件，就可以无须人工干预使用自动化方式完成日志归档操作。
它可以自动执行以下操作：

• 日志轮换：定期或按文件大小自动切割日志，创建归档文件。
• 压缩：对归档日志进行压缩，节省存储空间。
• 删除：按策略删除过期日志。
• 邮件通知：可配置发送归档日志摘要或异常信息至指定邮箱。

2.2 安装与验证

一般 Linux 都已经自带 logrotate，下列命令可以查看是否已安装。

rpm -ql logrotate

没有安装的话执行以下命令安装

yum -y install logrotate

2.3 配置文件结构

• 全局配置： /etc/logrotate.conf 中的通用设置。
• 独立规则： /etc/logrotate.d/ 下针对特定服务（如 Nginx）的配置文件

/etc/logrotate.conf                     # logrotate主配置文件
/usr/sbin/logrotate                     # logrotate二进制文件
/etc/logrotate.d/                       # 自定义logrotate配置文件
/var/lib/logrotate/logrotate.status     # logrotate管理日志执行记录的状态文件

2.4 命令参数

-?, --help 　							#在线帮助
-d, --debug                             # 测试归档配置文件
-f, --force                             # 立即执行归档操作
-m, --mail=command                      # 指定发送邮件的命令（默认为'/bin/mail')
-s, --state=statefile                   # 设置logrotate.status文件路径，可用于区分在同
# 一系统下以不同用户身份运行的logrotate任务
-v, --verbose                           # 显示配置详细信息
-l, --log=STRING                        # 将Logrotate执行的详情输出到指定的文件
-usage 　								#显示指令基本用法。
logrotate -v /etc/logrotate.conf                # 显示配置文件详细信息
logrotate -d /etc/logrotate.d/syslog -l /var/log/logrotate.log  # 配置文件，执行测试
logrotate -f /etc/logrotate.d/syslog    # 立即执行当前配置文件

三、Nginx 日志配置基础

3.1 查找 Nginx 日志路径

• 默认位置

cd /var/log/nginx

• 自定义设置：可以修改error_log及access_log路径修改日志位置

3.2 Nginx 配置文件解析

• 默认位置

cat /etc/nginx/nginx.conf

• access_log：配置访问日志路径
• error_log：配置错误日志路径

3.3 日志格式定制

• log_format：定义自定义日志格式，包括所需字段及格式化字符串。
• 各项解释如下：
  • $remote_addr: 记录客户端的IP地址。
  • $remote_user: 记录客户端用户（如果有）。
  • “$request”: 记录包含HTTP请求方法、URI和协议的字符串。
  • $status: 记录服务器响应的状态码。
  • $body_bytes_sent: 记录发送给客户端的响应体字节数。
  • “$http_referer”: 记录引用页面的URL。
  • “$http_user_agent”: 记录客户端浏览器或用户代理的信息。
  • “$http_x_forwarded_for”: 记录通过代理服务器转发请求时的客户端真实IP地址。

四、Logrotate结合Nginx实战

4.1 创建 Nginx 日志归档规则

sudo vi cd /etc/logrotate.d/nginx

/var/log/nginx/*.log {
    create 0640 nginx root
    daily
    rotate 30
    missingok
    notifempty
    olddir /data/nginx-log
    delaycompress
    sharedscripts
    postrotate
        /bin/kill -USR1 `cat /run/nginx.pid 2>/dev/null` 2>/dev/null || true
    endscript
}

配置说明：

• /var/log/nginx/*.log: 这是匹配要进行日志轮转的日志文件的路径模式。在这个例子中，它匹配 /var/log/nginx/ 目录下所有以 .log 结尾的文件。
• create 0640 nginx root: 这个选项指定在轮转期间如果需要创建新的日志文件时使用的权限和属主。在这里，它指定创建的日志文件权限为 0640，属主为 nginx 用户，属组为 root。
• daily: 这个选项表示日志文件将每天进行一次轮转。
• rotate 30: 这个选项指定保留的轮转后的日志文件副本数量。在这个例子中，将保留最新的30个日志文件。
• missingok: 如果日志文件不存在，这个选项告诉 logrotate 不要报错，继续进行后续操作。
• notifempty: 如果日志文件为空，这个选项告诉 logrotate 不要轮转它。
• olddir /data/nginx-log：将归档的日志存放到该目录下
• delaycompress: 这个选项告诉 logrotate 在下一次轮转时压缩之前保留上一个日志文件，以便其他程序仍然可以访问。
• sharedscripts: 这个选项告诉 logrotate 在执行后处理脚本时只运行一次，而不是对每个轮转的日志文件都执行一次。
• postrotate 和 endscript: 这两个选项之间的内容是在日志文件轮转后执行的命令。在这个例子中，它使用 /bin/kill 命令发送 USR1 信号给 Nginx 进程以重新打开日志文件，这样可以让 Nginx 在不停止服务的情况下切换到新的日志文件。

4.2 检查配置

• 执行以下命令检查配置是否有问题

sudo logrotate -d /etc/logrotate.d/nginx

• 手动执行以下命令，直接执行日志分割，看是否有问题

sudo logrotate -f /etc/logrotate.d/nginx

4.3 配置定时任务

• 为什么要配置定时任务？
  • 因为logrotate.d下配置的日志轮转方案，是在logrotate.conf执行的时候才会执行
  • logrotate.conf默认执行是按周执行一次
  • 即使在Nginx的轮转规则中设置了每天一次的轮转频率，但仍然需要等待logrotate.conf的执行周期才会触发轮转操作

crontab -e

# 每天凌晨执行
0 0 * * * /usr/sbin/logrotate -vf /etc/logrotate.d/nginx

• 查看定时任务

crontab -l

五、附录

5.1 Logrotate 常用配置