python如何批量读取路径

使用Python批量读取路径的方式有多种，常用的方法包括使用os模块遍历目录、使用glob模块匹配路径模式、以及使用pathlib模块进行路径操作。os模块提供了遍历目录和文件的基础功能、glob模块提供了方便的路径模式匹配功能、pathlib模块则提供了面向对象的路径操作。其中，os模块是最基础的方法，glob模块更适合简单的文件匹配，pathlib模块则提供了更现代化和灵活的路径操作方式。下面我们将详细介绍这三种方法中的一种，首先从os模块开始。

一、使用OS模块批量读取路径

os模块是Python标准库中用于与操作系统交互的模块，它提供了遍历文件和目录的基础功能。使用os模块可以轻松获取目录下的文件列表，并进行批量读取。

1. 使用os.walk遍历目录

os.walk是os模块中用于递归遍历目录树的方法。它会生成一个三元组(root, dirs, files)，root表示当前遍历的目录路径，dirs是该目录下的子目录列表，files是该目录下的文件列表。

import os
def read_paths_with_os_walk(directory):
    for root, dirs, files in os.walk(directory):
        for file in files:
            file_path = os.path.join(root, file)
            print(f"Reading file: {file_path}")
            # 在这里可以添加读取文件的逻辑

2. 使用os.listdir列出目录内容

os.listdir方法用于列出指定目录下的文件和子目录。它只会列出当前目录的内容，不会递归遍历子目录。

import os
def read_paths_with_os_listdir(directory):
    for entry in os.listdir(directory):
        entry_path = os.path.join(directory, entry)
        if os.path.isfile(entry_path):
            print(f"Reading file: {entry_path}")
            # 在这里可以添加读取文件的逻辑

二、使用GLOB模块匹配路径模式

glob模块提供了基于Unix shell风格的路径模式匹配功能。它可以使用通配符来匹配特定模式的文件路径，比如*.txt匹配所有以.txt结尾的文件。

1. 使用glob.glob匹配文件模式

glob.glob方法用于匹配指定模式的文件路径。它返回一个符合模式的文件路径列表。

import glob
def read_paths_with_glob_pattern(directory, pattern):
    for file_path in glob.glob(os.path.join(directory, pattern)):
        print(f"Reading file: {file_path}")
        # 在这里可以添加读取文件的逻辑

2. 使用glob.iglob生成文件路径

glob.iglob与glob.glob类似，但它返回的是一个生成器，可以用于惰性迭代匹配的文件路径。

import glob
def read_paths_with_glob_iglob(directory, pattern):
    for file_path in glob.iglob(os.path.join(directory, pattern)):
        print(f"Reading file: {file_path}")
        # 在这里可以添加读取文件的逻辑

三、使用PATHLIB模块进行路径操作

pathlib模块是Python 3中引入的用于路径操作的模块。它提供了面向对象的路径操作方法，使用起来更加直观和灵活。

1. 遍历目录中的文件

pathlib.Path对象提供了iterdir方法，可以用于遍历目录中的文件和子目录。

from pathlib import Path
def read_paths_with_pathlib(directory):
    dir_path = Path(directory)
    for entry in dir_path.iterdir():
        if entry.is_file():
            print(f"Reading file: {entry}")
            # 在这里可以添加读取文件的逻辑

2. 使用rglob递归匹配文件

rglob方法可以递归地匹配目录树中的文件，类似于glob模块中的glob方法。

from pathlib import Path
def read_paths_with_pathlib_rglob(directory, pattern):
    dir_path = Path(directory)
    for file_path in dir_path.rglob(pattern):
        print(f"Reading file: {file_path}")
        # 在这里可以添加读取文件的逻辑

四、综合应用与实践

在实际应用中，选择哪种方法取决于具体的需求和个人的偏好。以下是一些综合应用的场景示例。

1. 读取特定类型文件

如果需要读取某个目录下的特定类型文件，比如所有的.json文件，可以结合glob模块的路径模式匹配功能。

import glob
import os
def read_json_files(directory):
    for file_path in glob.glob(os.path.join(directory, '*.json')):
        with open(file_path, 'r') as file:
            data = file.read()
            print(f"Reading JSON file: {file_path}")
            # 处理JSON数据

2. 忽略隐藏文件和目录

在遍历目录时，有时需要忽略隐藏文件和目录。可以结合os模块的路径操作功能实现。

import os
def read_non_hidden_files(directory):
    for root, dirs, files in os.walk(directory):
        # 忽略隐藏目录
        dirs[:] = [d for d in dirs if not d.startswith('.')]
        for file in files:
            if not file.startswith('.'):
                file_path = os.path.join(root, file)
                print(f"Reading file: {file_path}")
                # 在这里可以添加读取文件的逻辑

3. 使用Pathlib处理复杂路径操作

pathlib模块提供了丰富的路径操作方法，可以在需要复杂路径处理时使用。

from pathlib import Path
def read_files_with_complex_path_operations(directory):
    dir_path = Path(directory)
    for file_path in dir_path.rglob('*'):
        if file_path.is_file() and not file_path.name.startswith('.'):
            print(f"Reading file: {file_path}")
            # 在这里可以添加读取文件的逻辑