如何用python写系统日志

使用Python写系统日志的主要方式包括：使用内置的logging模块、使用第三方日志库如loguru、定制化日志格式、设置日志级别等。

logging模块是Python标准库中的一个模块，功能强大且使用灵活，适用于各种场景。下面将详细介绍如何使用logging模块进行系统日志的记录。

一、使用logging模块

1、基础配置

Python的logging模块提供了简单而灵活的日志记录功能。我们可以通过简单的配置来记录不同级别的日志信息。

import logging

配置基本的日志记录功能
logging.basicConfig(level=logging.DEBUG, filename='system.log', filemode='w',
                    format='%(asctime)s - %(name)s - %(levelname)s - %(message)s')
记录日志信息
logging.debug('这是一个调试信息')
logging.info('这是一般信息')
logging.warning('这是一个警告信息')
logging.error('这是一个错误信息')
logging.critical('这是一个严重错误信息')

2、日志级别

logging模块提供了五个日志级别，分别是：

• DEBUG: 调试信息，级别最低，详细的信息，用于诊断问题。
• INFO: 一般信息，用于确认程序按预期运行。
• WARNING: 警告信息，指明程序可能出现问题，或一些非关键性问题。
• ERROR: 错误信息，指明程序发生了一些错误，无法完成某些功能。
• CRITICAL: 严重错误信息，表示程序可能无法继续运行。

通过basicConfig函数中的level参数，我们可以设置记录的最低日志级别。例如，level=logging.WARNING表示只记录WARNING及以上级别的日志信息。

3、日志格式

通过basicConfig函数中的format参数，我们可以自定义日志信息的格式。常用的格式占位符包括：

• %(asctime)s: 日志事件发生的时间
• %(name)s: 日志记录器的名称
• %(levelname)s: 日志级别名称
• %(message)s: 日志信息

例如，格式'%(asctime)s - %(name)s - %(levelname)s - %(message)s'会生成类似于以下格式的日志信息：

2023-10-10 10:10:10,123 - root - INFO - 这是一般信息

二、使用日志记录器和处理器

1、日志记录器（Logger）

通过logging模块，我们可以创建多个日志记录器，用于记录不同模块或组件的日志信息。

import logging

创建一个日志记录器
logger = logging.getLogger('my_logger')
logger.setLevel(logging.DEBUG)
创建一个日志处理器
file_handler = logging.FileHandler('my_log.log')
file_handler.setLevel(logging.DEBUG)
创建一个格式化器并将其添加到处理器
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
file_handler.setFormatter(formatter)
将处理器添加到日志记录器
logger.addHandler(file_handler)
记录日志信息
logger.debug('这是一个调试信息')
logger.info('这是一般信息')
logger.warning('这是一个警告信息')
logger.error('这是一个错误信息')
logger.critical('这是一个严重错误信息')

2、日志处理器（Handler）

日志处理器用于定义日志信息的输出方式，常用的处理器包括：

• StreamHandler: 将日志信息输出到控制台
• FileHandler: 将日志信息输出到文件
• RotatingFileHandler: 支持日志文件轮转
• TimedRotatingFileHandler: 支持按时间间隔进行日志文件轮转

通过将不同的处理器添加到日志记录器，我们可以实现多种日志输出方式。例如，将日志信息同时输出到控制台和文件：

import logging

创建一个日志记录器
logger = logging.getLogger('my_logger')
logger.setLevel(logging.DEBUG)
创建一个控制台处理器
console_handler = logging.StreamHandler()
console_handler.setLevel(logging.DEBUG)
创建一个文件处理器
file_handler = logging.FileHandler('my_log.log')
file_handler.setLevel(logging.DEBUG)
创建一个格式化器并将其添加到处理器
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
console_handler.setFormatter(formatter)
file_handler.setFormatter(formatter)
将处理器添加到日志记录器
logger.addHandler(console_handler)
logger.addHandler(file_handler)
记录日志信息
logger.debug('这是一个调试信息')
logger.info('这是一般信息')
logger.warning('这是一个警告信息')
logger.error('这是一个错误信息')
logger.critical('这是一个严重错误信息')

三、日志文件轮转

1、使用RotatingFileHandler

当日志文件达到一定大小时，我们可以使用RotatingFileHandler进行日志文件轮转。

import logging

from logging.handlers import RotatingFileHandler
创建一个日志记录器
logger = logging.getLogger('my_logger')
logger.setLevel(logging.DEBUG)
创建一个文件处理器，设置日志文件最大为1MB，最多保留3个日志文件
rotating_handler = RotatingFileHandler('my_rotating_log.log', maxBytes=1*1024*1024, backupCount=3)
rotating_handler.setLevel(logging.DEBUG)
创建一个格式化器并将其添加到处理器
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
rotating_handler.setFormatter(formatter)
将处理器添加到日志记录器
logger.addHandler(rotating_handler)
记录日志信息
for i in range(10000):
    logger.debug(f'这是第{i}条调试信息')

2、使用TimedRotatingFileHandler

当日志文件达到一定时间间隔时，我们可以使用TimedRotatingFileHandler进行日志文件轮转。

import logging

from logging.handlers import TimedRotatingFileHandler
创建一个日志记录器
logger = logging.getLogger('my_logger')
logger.setLevel(logging.DEBUG)
创建一个文件处理器，设置日志文件每天轮转，保留7天的日志文件
timed_rotating_handler = TimedRotatingFileHandler('my_timed_log.log', when='D', interval=1, backupCount=7)
timed_rotating_handler.setLevel(logging.DEBUG)
创建一个格式化器并将其添加到处理器
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
timed_rotating_handler.setFormatter(formatter)
将处理器添加到日志记录器
logger.addHandler(timed_rotating_handler)
记录日志信息
for i in range(100):
    logger.debug(f'这是第{i}条调试信息')

四、使用第三方库loguru

除了内置的logging模块，我们还可以使用第三方日志库，如loguru，它提供了更加简洁和强大的日志记录功能。

1、安装loguru

首先，我们需要安装loguru库：

pip install loguru

2、使用loguru记录日志

from loguru import logger

配置日志记录
logger.add('my_loguru_log.log', rotation='1 MB', retention='10 days', compression='zip')
记录日志信息
logger.debug('这是一个调试信息')
logger.info('这是一般信息')
logger.warning('这是一个警告信息')
logger.error('这是一个错误信息')
logger.critical('这是一个严重错误信息')

loguru库提供了更加简洁的API，同时支持日志文件轮转、日志压缩等功能。

五、日志记录最佳实践

1、日志级别设置

根据实际需求合理设置日志级别，避免记录过多无用的信息，影响性能和日志文件大小。

2、日志格式设计

设计合理的日志格式，确保日志信息易于阅读和分析。常见的日志格式包括时间戳、日志级别、日志记录器名称、日志信息等。

3、日志文件轮转

对于长期运行的系统，设置合理的日志文件轮转策略，确保日志文件不会过大，同时保留一定数量的历史日志文件，方便问题排查。

4、日志记录器命名

为不同模块或组件创建独立的日志记录器，使用有意义的名称，便于日志信息的分类和过滤。

5、日志输出位置

根据需求将日志信息输出到不同位置，如控制台、文件、远程服务器等，确保日志信息能够及时获取和分析。

六、实际应用场景

1、Web应用程序日志记录

对于Web应用程序，我们可以为每个请求记录日志信息，包括请求的URL、参数、响应状态码等，便于问题排查和性能分析。

import logging

from flask import Flask, request
app = Flask(__name__)
配置日志记录
logging.basicConfig(level=logging.DEBUG, filename='web_app.log', filemode='a',
                    format='%(asctime)s - %(name)s - %(levelname)s - %(message)s')
@app.route('/')
def home():
    logging.info(f'收到请求: {request.url}')
    return 'Hello, World!'
if __name__ == '__main__':
    app.run(debug=True)

2、数据处理程序日志记录

对于数据处理程序，我们可以记录每个数据处理步骤的日志信息，包括数据读取、数据清洗、数据分析等，便于监控数据处理流程和分析处理结果。

import logging

import pandas as pd
配置日志记录
logging.basicConfig(level=logging.DEBUG, filename='data_processing.log', filemode='a',
                    format='%(asctime)s - %(name)s - %(levelname)s - %(message)s')
def read_data(file_path):
    logging.info(f'开始读取数据: {file_path}')
    try:
        data = pd.read_csv(file_path)
        logging.info(f'数据读取成功: {file_path}')
        return data
    except Exception as e:
        logging.error(f'数据读取失败: {file_path} - {e}')
        return None
def process_data(data):
    logging.info('开始处理数据')
    try:
        # 数据处理逻辑
        processed_data = data.dropna()
        logging.info('数据处理成功')
        return processed_data
    except Exception as e:
        logging.error(f'数据处理失败: {e}')
        return None
def main():
    file_path = 'data.csv'
    data = read_data(file_path)
    if data is not None:
        processed_data = process_data(data)
        if processed_data is not None:
            logging.info('数据处理完成')
if __name__ == '__main__':
    main()

3、分布式系统日志记录

对于分布式系统，我们可以将日志信息集中收集到远程服务器，便于统一管理和分析。常用的日志收集和分析工具包括ELK（Elasticsearch, Logstash, Kibana）等。

import logging

from logging.handlers import SysLogHandler
创建一个日志记录器
logger = logging.getLogger('distributed_system')
logger.setLevel(logging.DEBUG)
创建一个SysLog处理器，将日志信息发送到远程服务器
syslog_handler = SysLogHandler(address=('remote_server_ip', 514))
syslog_handler.setLevel(logging.DEBUG)
创建一个格式化器并将其添加到处理器
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
syslog_handler.setFormatter(formatter)
将处理器添加到日志记录器
logger.addHandler(syslog_handler)
记录日志信息
logger.debug('这是一个调试信息')
logger.info('这是一般信息')
logger.warning('这是一个警告信息')
logger.error('这是一个错误信息')
logger.critical('这是一个严重错误信息')

通过以上方法，我们可以在不同场景中灵活使用Python记录系统日志，确保系统运行的稳定性和可维护性。

相关问答FAQs：

如何用Python记录系统日志的最佳实践是什么？
在Python中记录系统日志的最佳实践包括使用内置的logging模块。这个模块提供了灵活的日志记录功能，可以设置日志级别、格式、输出到文件或控制台等。通过配置日志记录器，可以确保你的应用程序在运行时有效地捕捉和记录重要信息，从而帮助后续的错误排查和性能监控。

使用Python记录日志时，应该选择哪些日志级别？
Python的logging模块提供了多个日志级别，包括DEBUG、INFO、WARNING、ERROR和CRITICAL。选择日志级别时，可以根据需要记录的信息重要性来决定。例如，DEBUG适合开发和调试阶段，而INFO适合记录常规运行信息，WARNING则用于警告潜在问题，ERROR和CRITICAL则用于记录错误和严重问题。合理使用日志级别可以有效管理日志的输出。

如何将Python的日志输出到文件而不是控制台？
要将Python的日志输出到文件，可以使用logging.FileHandler来创建一个文件处理器，并将其添加到日志记录器中。可以通过设置文件名、日志模式（如追加或覆盖）以及日志格式来定制输出。例如，可以使用以下代码实现日志文件的记录：

import logging

logging.basicConfig(filename='system.log', level=logging.DEBUG,
                    format='%(asctime)s - %(levelname)s - %(message)s')

logging.debug('This is a debug message')
logging.info('This is an info message')

这样，所有的日志信息都将被写入到system.log文件中。