python如何清理日志文件

在Python中清理日志文件的方法有多种，包括定期轮换日志文件、压缩旧日志、删除旧日志、使用日志管理库等。最常用的方法是通过设置日志轮换策略来自动管理日志文件的大小和数量。其中一种常用的方法是使用Python的logging模块中的RotatingFileHandler或TimedRotatingFileHandler来实现日志文件的自动轮换和清理。RotatingFileHandler允许根据日志文件的大小进行轮换，而TimedRotatingFileHandler则可以根据时间间隔进行轮换。下面我们将详细介绍如何使用这些工具来有效地管理和清理日志文件。

一、使用ROTATINGFILEHANDLER进行日志轮换

RotatingFileHandler是Python中logging模块提供的一个强大工具，允许根据文件大小进行日志轮换。通过设置一个最大文件大小和保留的文件数量，当日志文件达到指定大小时，它会自动重命名当前日志文件并创建一个新的日志文件。

配置RotatingFileHandler

首先，我们需要导入RotatingFileHandler并进行配置。可以通过设置maxBytes参数指定文件的最大大小，通过backupCount参数指定要保留的日志文件数量。
```
import logging
from logging.handlers import RotatingFileHandler
logger = logging.getLogger(__name__)
logger.setLevel(logging.INFO)
handler = RotatingFileHandler('app.log', maxBytes=1024*1024*5, backupCount=5)
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
handler.setFormatter(formatter)
logger.addHandler(handler)
```
在这个例子中，app.log文件的最大大小被设置为5MB，最多保留5个备份文件。当文件大小超过5MB时，RotatingFileHandler会自动创建新的日志文件，并删除最早的文件以保持备份文件数量不超过5个。
使用RotatingFileHandler记录日志

在配置好RotatingFileHandler后，就可以使用logger对象来记录日志。
```
logger.info("This is an info message")
logger.error("This is an error message")
```
日志消息将被写入app.log文件，并在需要时进行轮换。

二、使用TIMEDROTATINGFILEHANDLER进行日志轮换

如果希望根据时间间隔而不是文件大小来管理日志文件，可以使用TimedRotatingFileHandler。它允许根据设定的时间间隔（例如每天、每小时）进行日志轮换。

配置TimedRotatingFileHandler

TimedRotatingFileHandler需要设置一个时间间隔参数，比如when='midnight'表示每天午夜进行日志轮换。

import logging
from logging.handlers import TimedRotatingFileHandler
logger = logging.getLogger(__name__)
logger.setLevel(logging.INFO)
handler = TimedRotatingFileHandler('app.log', when='midnight', interval=1, backupCount=7)
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
handler.setFormatter(formatter)
logger.addHandler(handler)

在这个配置中，app.log文件将在每天午夜轮换，并保留最近7天的日志文件。

使用TimedRotatingFileHandler记录日志

与RotatingFileHandler相似，配置好TimedRotatingFileHandler后，可以使用logger对象来记录日志。
```
logger.info("This is an info message")
logger.error("This is an error message")
```

三、压缩和存储旧日志文件

在某些情况下，可能需要压缩旧的日志文件以节省存储空间。可以通过自定义日志轮换处理程序或在日志轮换后调用外部脚本来实现日志压缩。

自定义日志处理程序

可以继承RotatingFileHandler或TimedRotatingFileHandler类，并重写其doRollover方法以增加压缩功能。

import gzip
import shutil
class CompressedRotatingFileHandler(RotatingFileHandler):
    def doRollover(self):
        super().doRollover()
        with open(self.baseFilename + ".1", 'rb') as f_in:
            with gzip.open(self.baseFilename + ".1.gz", 'wb') as f_out:
                shutil.copyfileobj(f_in, f_out)
        os.remove(self.baseFilename + ".1")

在这个例子中，自定义的CompressedRotatingFileHandler会在日志轮换后自动压缩旧日志文件。

外部脚本压缩

也可以使用外部脚本在日志轮换后定期压缩和清理旧日志文件。例如，可以编写一个定时任务（如cron任务）来压缩和删除旧的日志文件。

四、删除旧日志文件

在某些情况下，可能需要定期删除旧日志文件以释放存储空间。可以通过自定义处理程序或使用定时任务来实现。

自定义日志处理程序

可以在自定义的日志处理程序中增加删除旧日志文件的功能。例如，在日志轮换时检查并删除超过一定数量的备份文件。
定时任务删除

使用操作系统的定时任务功能（如cron任务）来定期删除旧日志文件。例如，可以编写一个脚本来查找并删除超过指定天数的日志文件。

五、使用LOGGING配置文件

为了更好地管理和维护日志配置，可以使用Python的logging配置文件来定义日志处理程序和格式器。这种方法使得日志配置更加模块化和易于修改。

创建配置文件

首先，创建一个日志配置文件（例如logging.conf），定义日志处理程序、格式器和日志记录器。

[loggers]
keys=root,myLogger
[handlers]
keys=rotatingFileHandler
[formatters]
keys=formatter
[logger_root]
level=INFO
handlers=rotatingFileHandler
[logger_myLogger]
level=INFO
handlers=rotatingFileHandler
qualname=myLogger
[handler_rotatingFileHandler]
class=handlers.RotatingFileHandler
level=INFO
formatter=formatter
args=('app.log', 'a', 1024*1024*5, 5)
[formatter_formatter]
format=%(asctime)s - %(name)s - %(levelname)s - %(message)s

加载配置文件

使用logging.config.fileConfig方法加载配置文件并初始化日志记录器。

import logging
import logging.config
logging.config.fileConfig('logging.conf')
logger = logging.getLogger('myLogger')
logger.info("This is an info message")

通过上述多种方法，Python可以有效地管理和清理日志文件，确保日志记录系统的高效运行和存储资源的合理使用。根据具体需求，可以选择合适的日志管理策略和工具，以满足不同的日志处理要求。