Python如何实现批量清理日志

Python实现批量清理日志的方法有：使用os模块遍历目录、使用glob模块查找符合条件的文件、使用shutil模块删除文件、设置清理策略等。 其中，使用os模块遍历目录是最基础和最常用的方法之一。

一、使用os模块遍历目录

os模块提供了丰富的目录操作方法，例如os.listdir()可以列出指定目录下的所有文件和子目录，os.path.join()可以生成路径，os.remove()可以删除文件等。下面是一个示例代码，演示了如何使用os模块遍历目录并删除指定目录下的所有日志文件。

import os
def clean_logs(directory):
    for filename in os.listdir(directory):
        file_path = os.path.join(directory, filename)
        try:
            if os.path.isfile(file_path) and file_path.endswith('.log'):
                os.remove(file_path)
                print(f'Removed file: {file_path}')
        except Exception as e:
            print(f'Error while deleting file {file_path}. Reason: {e}')
使用示例
log_directory = '/path/to/logs'
clean_logs(log_directory)

二、使用glob模块查找符合条件的文件

glob模块可以使用通配符查找文件，特别适合用于查找符合特定命名模式的文件。下面是一个示例代码，演示了如何使用glob模块查找并删除指定目录下的所有日志文件。

import glob
import os
def clean_logs(directory):
    for file_path in glob.glob(os.path.join(directory, '*.log')):
        try:
            os.remove(file_path)
            print(f'Removed file: {file_path}')
        except Exception as e:
            print(f'Error while deleting file {file_path}. Reason: {e}')
使用示例
log_directory = '/path/to/logs'
clean_logs(log_directory)

三、使用shutil模块删除文件

shutil模块提供了高级的文件操作功能，例如shutil.rmtree()可以递归删除目录及其内容。下面是一个示例代码，演示了如何使用shutil模块递归删除指定目录及其所有内容。

import shutil
import os
def clean_logs(directory):
    try:
        shutil.rmtree(directory)
        print(f'Removed directory and its contents: {directory}')
    except Exception as e:
        print(f'Error while deleting directory {directory}. Reason: {e}')
使用示例
log_directory = '/path/to/logs'
clean_logs(log_directory)

四、设置清理策略

在实际应用中，可能需要根据不同的清理策略（例如文件大小、文件创建时间、文件修改时间等）来清理日志文件。下面是一个示例代码，演示了如何根据文件修改时间清理指定目录下超过一定天数的日志文件。

import os
import time
def clean_logs(directory, days):
    current_time = time.time()
    for filename in os.listdir(directory):
        file_path = os.path.join(directory, filename)
        if os.path.isfile(file_path) and file_path.endswith('.log'):
            file_mtime = os.path.getmtime(file_path)
            if (current_time - file_mtime) // (24 * 3600) >= days:
                try:
                    os.remove(file_path)
                    print(f'Removed file: {file_path}')
                except Exception as e:
                    print(f'Error while deleting file {file_path}. Reason: {e}')
使用示例
log_directory = '/path/to/logs'
days_to_keep = 30  # 保留最近30天的日志
clean_logs(log_directory, days_to_keep)

五、结合多种方法进行综合处理

在实际项目中，可能需要结合多种方法进行综合处理，例如先使用glob模块查找符合条件的文件，再根据文件大小或修改时间等属性进行筛选，最后使用os或shutil模块删除文件。下面是一个示例代码，演示了如何结合glob和os模块清理超过一定大小的日志文件。

import glob
import os
def clean_logs(directory, max_size):
    for file_path in glob.glob(os.path.join(directory, '*.log')):
        try:
            if os.path.getsize(file_path) > max_size:
                os.remove(file_path)
                print(f'Removed file: {file_path}')
        except Exception as e:
            print(f'Error while deleting file {file_path}. Reason: {e}')
使用示例
log_directory = '/path/to/logs'
max_file_size = 10 * 1024 * 1024  # 删除超过10MB的日志文件
clean_logs(log_directory, max_file_size)

六、日志清理脚本的自动化

为了方便管理和使用，通常会将日志清理脚本配置为定时任务（例如cron任务）自动执行。下面是一个示例代码，演示了如何使用Python的schedule库配置一个每天凌晨3点执行的日志清理任务。

import schedule
import time
import os
def clean_logs(directory, days):
    current_time = time.time()
    for filename in os.listdir(directory):
        file_path = os.path.join(directory, filename)
        if os.path.isfile(file_path) and file_path.endswith('.log'):
            file_mtime = os.path.getmtime(file_path)
            if (current_time - file_mtime) // (24 * 3600) >= days:
                try:
                    os.remove(file_path)
                    print(f'Removed file: {file_path}')
                except Exception as e:
                    print(f'Error while deleting file {file_path}. Reason: {e}')
def job():
    log_directory = '/path/to/logs'
    days_to_keep = 30  # 保留最近30天的日志
    clean_logs(log_directory, days_to_keep)
配置每天凌晨3点执行一次
schedule.every().day.at("03:00").do(job)
while True:
    schedule.run_pending()
    time.sleep(1)

七、提高日志清理效率

在处理大量日志文件时，可能需要提高日志清理的效率。可以考虑以下几种方法：

多线程或多进程处理：使用concurrent.futures模块或multiprocessing模块实现并行处理，提高清理速度。
分批处理：将日志文件分成多个批次，每个批次处理一部分文件，减少单次处理的负担。
异步IO处理：使用asyncio模块实现异步IO处理，提高文件操作的效率。

下面是一个示例代码，演示了如何使用concurrent.futures模块实现多线程日志清理。

import os
import concurrent.futures
def clean_log(file_path):
    try:
        os.remove(file_path)
        print(f'Removed file: {file_path}')
    except Exception as e:
        print(f'Error while deleting file {file_path}. Reason: {e}')
def clean_logs(directory):
    with concurrent.futures.ThreadPoolExecutor() as executor:
        futures = []
        for filename in os.listdir(directory):
            file_path = os.path.join(directory, filename)
            if os.path.isfile(file_path) and file_path.endswith('.log'):
                futures.append(executor.submit(clean_log, file_path))
        for future in concurrent.futures.as_completed(futures):
            future.result()
使用示例
log_directory = '/path/to/logs'
clean_logs(log_directory)