fastapi sqlalchemy 日志 logging 写入异常 多进程文件写入异常

发布于:2025-02-20 ⋅ 阅读:(132) ⋅ 点赞:(0)

报错

--- Logging error ---
Traceback (most recent call last):
  File "C:\ProgramData\miniconda3\Lib\logging\handlers.py", line 74, in emit
    self.doRollover()
  File "C:\ProgramData\miniconda3\Lib\logging\handlers.py", line 179, in doRollover
    self.rotate(self.baseFilename, dfn)
  File "C:\ProgramData\miniconda3\Lib\logging\handlers.py", line 115, in rotate
    os.rename(source, dest)
PermissionError: [WinError 32] 另一个程序正在使用此文件,进程无法访问。

资料

关于python多进程日志输出问题的解决方案_python 多进程日志写入-CSDN博客

1.nb_log 简介 — nb_log v0.1 文档(太长)

Python入门之logging日志模块以及多进程日志-腾讯云开发者社区-腾讯云(快速)

python Flask logging日志报错“另一个程序正在使用此文件,进程无法访问”_python flask 另一个程序正在使用此文件-CSDN博客

logging多进程报错:PermissionError: [WinError 32] 另一个程序正在使用此文件,进程无法访问_python logging error 多进程 permissionerror: [winerro-CSDN博客

logging模块多进程问题及解决方案_python logging多进程无法滚动-CSDN博客

背景

  fastapi项目 开发过程中,将 sqlalchemy 的sql语句等信息写入到日志文件中,采用 日志轮转 的方式进行日志文件切割,触发异常:

PermissionError: [WinError 32] 另一个程序正在使用此文件,进程无法访问。

多个进程同时对同一个文件进行写操作时(一进程写日志内容,一个进程修改日志文件名),导致loggingError(就像我们打开一个word文件后,如果不关闭这个文件就没有办法去修改这个文件的文件名一样)(应当注意,logging 可以同时进行多个写操作,线程安全的,内容写满后,进行日志切割(重命名)才会引发这个错误)

解决

保证对同一个文件的重命名操作和写入内容操作不是同时进行的:

1.修改源码;

2.所有日志写入一个队列,对队列统一处理;

3.引入三方包;