python 如何遍历文件

Python遍历文件的方法有多种，主要包括：使用os模块遍历文件目录、使用glob模块匹配文件模式、以及使用pathlib模块进行文件路径操作。其中，os模块提供了基本的文件目录遍历功能，适用于大多数简单场景；glob模块则适合需要匹配特定文件模式的场景；pathlib模块则是Python 3.4引入的更现代化、更面向对象的路径操作方式。下面我将详细介绍每种方法的使用及其优劣。

一、使用OS模块遍历文件目录

os模块是Python标准库中的一个模块，提供了与操作系统交互的一些方法。对于文件遍历来说，os模块的核心方法是os.listdir()和os.walk()。

1.1 使用os.listdir()

os.listdir()方法用于返回指定文件夹中的文件和目录列表。它不递归，只返回当前目录下的项目。

import os
def list_files(directory):
    for filename in os.listdir(directory):
        filepath = os.path.join(directory, filename)
        if os.path.isfile(filepath):
            print(f"File: {filepath}")
        elif os.path.isdir(filepath):
            print(f"Directory: {filepath}")
list_files('/path/to/directory')

优点： 简单易用，适合列出当前目录下的文件和文件夹。

缺点： 不支持递归遍历子目录。

1.2 使用os.walk()

os.walk()是一个生成器，用于递归遍历目录树。它会逐层返回目录名、子目录列表和文件列表。

import os
def walk_directory(directory):
    for dirpath, dirnames, filenames in os.walk(directory):
        print(f"Current Directory: {dirpath}")
        for dirname in dirnames:
            print(f"Subdirectory: {dirname}")
        for filename in filenames:
            print(f"File: {filename}")
walk_directory('/path/to/directory')

优点： 能够递归遍历目录树，适合复杂的目录结构。

缺点： 对于非常大的目录树，可能会消耗大量内存。

二、使用GLOB模块匹配文件模式

glob模块提供了文件模式匹配功能，类似于shell中的通配符。它支持递归遍历。

import glob
def glob_files(pattern):
    for filepath in glob.iglob(pattern, recursive=True):
        print(f"Path: {filepath}")
glob_files('/path/to/directory//*.txt')

优点： 支持通配符匹配，适合需要过滤特定文件类型的情况。

缺点： 通配符匹配可能不够灵活，某些复杂的匹配需求可能难以实现。

三、使用PATHLIB模块进行文件路径操作

pathlib模块是Python 3.4引入的一个模块，提供了面向对象的文件路径操作方式。它的Path类可以方便地进行路径操作。

from pathlib import Path
def pathlib_walk(directory):
    path = Path(directory)
    for filepath in path.rglob('*'):
        if filepath.is_file():
            print(f"File: {filepath}")
        elif filepath.is_dir():
            print(f"Directory: {filepath}")
pathlib_walk('/path/to/directory')

优点： 现代化的接口，语义清晰，支持面向对象操作，代码可读性高。

缺点： 仅在Python 3.4及以上版本可用。

四、应用场景分析及选择指南

4.1 简单列出目录内容

对于只需要列出当前目录中的文件和子目录的情况，使用os.listdir()是最简单的选择。代码简洁明了，不需要递归操作。

4.2 递归遍历完整目录树

如果需要递归遍历整个目录树，os.walk()和pathlib.Path.rglob()都是不错的选择。os.walk()更为传统，适合对内存占用有较高要求的情况；而pathlib提供了更现代化的接口，代码可读性更高。

4.3 匹配特定文件模式

当需要匹配特定文件类型，如查找所有的.txt文件时，glob模块的通配符功能显得非常方便。它能够轻松实现类似于shell中的文件模式匹配。

五、性能优化和注意事项

5.1 文件数量和内存占用

在遍历非常大的目录时，可能会遇到内存不足的问题。此时，可以考虑逐步处理文件，避免一次性加载过多文件路径。

5.2 平台兼容性

不同操作系统对文件路径的处理有所不同。使用os.path或pathlib可以帮助处理路径分隔符的差异，保证代码的跨平台兼容性。

5.3 异常处理

在遍历文件时，可能会遇到权限问题或者文件被删除的情况。建议在代码中加入异常处理，确保程序的健壮性。

六、总结

在Python中遍历文件目录的方法多种多样，选择合适的方法取决于具体需求和环境。os模块提供了基本而强大的文件操作功能；glob模块在文件模式匹配方面非常灵活；pathlib模块则以其现代化的接口赢得了越来越多开发者的青睐。掌握这些方法后，可以根据不同的应用场景，选择最合适的工具来高效地完成文件遍历任务。