python如何优雅地写日志

Python优雅地写日志的方式包括使用logging模块、配置日志格式、设置日志级别、使用日志处理器、避免冗余日志等。 在这些方式中，使用logging模块是最核心的，因为它是Python内置的日志模块，提供了强大的功能和灵活的配置选项，可以满足大多数日志记录需求。

一、使用logging模块

Python的logging模块是一个内置的日志记录模块，提供了简单易用的接口和丰富的功能。使用logging模块可以轻松地记录和管理日志信息。以下是一个简单的示例：

import logging
创建一个日志记录器
logger = logging.getLogger('example_logger')
设置日志级别
logger.setLevel(logging.DEBUG)
创建一个控制台处理器
ch = logging.StreamHandler()
设置控制台处理器的日志级别
ch.setLevel(logging.DEBUG)
创建一个日志格式
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
将格式应用到控制台处理器
ch.setFormatter(formatter)
将控制台处理器添加到日志记录器
logger.addHandler(ch)
记录一些日志
logger.debug('This is a debug message')
logger.info('This is an info message')
logger.warning('This is a warning message')
logger.error('This is an error message')
logger.critical('This is a critical message')

在上面的示例中，我们首先导入了logging模块，然后创建了一个名为example_logger的日志记录器。接着，我们设置了日志记录器的日志级别为DEBUG，并创建了一个控制台处理器和一个日志格式。最后，我们将控制台处理器添加到日志记录器，并记录了一些不同级别的日志信息。

二、配置日志格式

日志格式可以帮助我们更好地理解和分析日志信息。logging模块提供了灵活的格式配置选项，我们可以自定义日志格式，以便更好地满足我们的需求。以下是一些常见的日志格式选项：

%(asctime)s：日志记录的时间
%(name)s：日志记录器的名称
%(levelname)s：日志级别
%(message)s：日志消息
%(filename)s：记录日志的文件名
%(lineno)d：记录日志的代码行号

我们可以根据需要选择和组合这些选项，以创建自定义的日志格式。例如：

formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')

三、设置日志级别

日志级别用于控制日志记录的详细程度。logging模块提供了五个日志级别，从低到高分别为：DEBUG、INFO、WARNING、ERROR、CRITICAL。我们可以根据需要设置日志记录器和处理器的日志级别。例如：

logger.setLevel(logging.INFO)
ch.setLevel(logging.ERROR)

在上面的示例中，我们将日志记录器的日志级别设置为INFO，这意味着只有INFO级别及以上的日志信息会被记录。而控制台处理器的日志级别设置为ERROR，这意味着只有ERROR级别及以上的日志信息会被输出到控制台。

四、使用日志处理器

日志处理器用于将日志信息输出到不同的目的地，例如控制台、文件、网络等。logging模块提供了多种内置的日志处理器，我们可以根据需要选择和配置不同的处理器。例如：

StreamHandler：将日志信息输出到控制台
FileHandler：将日志信息输出到文件
RotatingFileHandler：将日志信息输出到滚动文件
TimedRotatingFileHandler：将日志信息输出到按时间滚动的文件
SMTPHandler：将日志信息通过电子邮件发送

以下是一个使用FileHandler的示例：

import logging
创建一个日志记录器
logger = logging.getLogger('example_logger')
设置日志级别
logger.setLevel(logging.DEBUG)
创建一个文件处理器
fh = logging.FileHandler('example.log')
设置文件处理器的日志级别
fh.setLevel(logging.DEBUG)
创建一个日志格式
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
将格式应用到文件处理器
fh.setFormatter(formatter)
将文件处理器添加到日志记录器
logger.addHandler(fh)
记录一些日志
logger.debug('This is a debug message')
logger.info('This is an info message')
logger.warning('This is a warning message')
logger.error('This is an error message')
logger.critical('This is a critical message')

在上面的示例中，我们创建了一个FileHandler，并将日志信息输出到名为example.log的文件中。

五、避免冗余日志

在使用logging模块时，可能会遇到日志信息重复输出的问题。这通常是由于多个处理器或多个日志记录器之间的配置不当导致的。为了避免冗余日志，我们可以采取以下措施：

避免重复添加处理器：确保每个处理器只被添加一次。例如，不要在多个地方重复添加相同的处理器。
使用不同的日志记录器：对于不同的模块或组件，可以创建不同的日志记录器，以便更好地管理日志信息。例如：

# 创建两个不同的日志记录器
logger1 = logging.getLogger('module1')
logger2 = logging.getLogger('module2')
设置不同的日志级别
logger1.setLevel(logging.INFO)
logger2.setLevel(logging.DEBUG)

配置日志记录器的propagate属性：日志记录器的propagate属性用于控制日志信息是否向上传播到父级日志记录器。如果不希望日志信息传播到父级日志记录器，可以将propagate属性设置为False。例如：

logger.propagate = False

六、日志配置文件

在大型项目中，手动配置日志记录器和处理器可能会变得复杂和繁琐。logging模块提供了通过配置文件来配置日志的功能，我们可以将日志配置放在一个单独的配置文件中，并在程序启动时加载配置文件。logging模块支持两种配置文件格式：INI格式和字典格式。

以下是一个使用INI格式的日志配置文件示例：

[loggers]
keys=root,example_logger
[handlers]
keys=consoleHandler,fileHandler
[formatters]
keys=defaultFormatter
[logger_root]
level=DEBUG
handlers=consoleHandler
[logger_example_logger]
level=DEBUG
handlers=consoleHandler,fileHandler
qualname=example_logger
propagate=0
[handler_consoleHandler]
class=StreamHandler
level=DEBUG
formatter=defaultFormatter
args=(sys.stdout,)
[handler_fileHandler]
class=FileHandler
level=DEBUG
formatter=defaultFormatter
args=('example.log', 'a')
[formatter_defaultFormatter]
format=%(asctime)s - %(name)s - %(levelname)s - %(message)s
datefmt=

在程序中，我们可以使用logging.config模块加载配置文件：

import logging
import logging.config
logging.config.fileConfig('logging.conf')
获取日志记录器
logger = logging.getLogger('example_logger')
记录一些日志
logger.debug('This is a debug message')
logger.info('This is an info message')
logger.warning('This is a warning message')
logger.error('This is an error message')
logger.critical('This is a critical message')

七、日志的最佳实践

在实际项目中，遵循一些最佳实践可以帮助我们更好地管理和使用日志信息。以下是一些常见的日志最佳实践：

合理设置日志级别：根据实际需求设置日志级别，避免记录过多或过少的日志信息。通常，开发和调试阶段使用DEBUG级别，生产环境使用INFO或WARNING级别。
使用有意义的日志消息：记录有意义和易于理解的日志消息，避免记录无用或冗长的日志信息。
日志记录的位置：在关键位置记录日志，例如异常处理、重要的业务逻辑、性能瓶颈等。
避免敏感信息泄露：在记录日志时，避免记录敏感信息，如密码、密钥、个人信息等。
定期归档和清理日志：定期归档和清理日志文件，避免日志文件过大影响系统性能。

八、日志的高级配置

除了基础配置外，logging模块还提供了一些高级配置选项，可以满足更复杂的日志需求。

1. 自定义日志处理器

我们可以根据需求自定义日志处理器。例如，将日志信息发送到远程服务器：

import logging
import socket
class CustomHandler(logging.Handler):
    def emit(self, record):
        log_entry = self.format(record)
        sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
        sock.connect(('remote_server', 12345))
        sock.sendall(log_entry.encode('utf-8'))
        sock.close()
创建日志记录器
logger = logging.getLogger('custom_logger')
logger.setLevel(logging.DEBUG)
创建自定义处理器
ch = CustomHandler()
ch.setLevel(logging.DEBUG)
创建日志格式
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
ch.setFormatter(formatter)
将处理器添加到日志记录器
logger.addHandler(ch)
记录日志
logger.debug('This is a debug message')

2. 多进程日志

在多进程环境中，多个进程可能会同时写入日志文件，导致日志混乱。我们可以使用logging.handlers模块中的QueueHandler和QueueListener来解决这个问题：

import logging
import logging.handlers
import multiprocessing
创建一个日志队列
log_queue = multiprocessing.Queue(-1)
创建一个日志监听器
listener = logging.handlers.QueueListener(log_queue, logging.StreamHandler())
listener.start()
创建日志记录器
logger = logging.getLogger('multiprocess_logger')
logger.setLevel(logging.DEBUG)
创建队列处理器
qh = logging.handlers.QueueHandler(log_queue)
logger.addHandler(qh)
记录日志
logger.debug('This is a debug message')
停止日志监听器
listener.stop()

3. 异步日志

在高并发环境中，同步日志记录可能会成为性能瓶颈。我们可以使用concurrent.futures模块中的ThreadPoolExecutor或ProcessPoolExecutor来实现异步日志记录：

import logging
import concurrent.futures
创建日志记录器
logger = logging.getLogger('async_logger')
logger.setLevel(logging.DEBUG)
创建控制台处理器
ch = logging.StreamHandler()
ch.setLevel(logging.DEBUG)
创建日志格式
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
ch.setFormatter(formatter)
将处理器添加到日志记录器
logger.addHandler(ch)
创建线程池
executor = concurrent.futures.ThreadPoolExecutor(max_workers=5)
def log_message(message):
    logger.debug(message)
提交异步日志任务
for i in range(10):
    executor.submit(log_message, f'This is a debug message {i}')
等待所有任务完成
executor.shutdown()

九、日志库的扩展

除了Python内置的logging模块外，还有一些第三方日志库可以提供更丰富的功能和更高的性能。例如：

Loguru：一个简单易用且功能强大的日志库，提供了更简洁的API和更丰富的功能。
Structlog：一个结构化日志库，支持将日志信息以结构化数据格式输出，便于日志分析和处理。
Logbook：一个替代logging模块的日志库，提供了更灵活的配置和更好的性能。

以下是使用Loguru的示例：

from loguru import logger
配置日志格式
logger.add("example.log", format="{time} - {name} - {level} - {message}", level="DEBUG")
记录日志
logger.debug("This is a debug message")
logger.info("This is an info message")
logger.warning("This is a warning message")
logger.error("This is an error message")
logger.critical("This is a critical message")