python如何读取指定路径下的文件夹

Python读取指定路径下的文件夹：使用os模块、使用glob模块、使用pathlib模块。os模块是最常见且功能强大的文件和目录操作模块，适用于大多数场景。以下将详细介绍如何使用os模块读取指定路径下的文件夹。

一、使用os模块

1、读取文件夹内容

使用os模块读取指定路径下的文件夹内容非常简单。首先，需要导入os模块，然后使用os.listdir()函数来获取文件夹中的所有文件和子文件夹的列表。

import os
def list_directory_contents(directory_path):
    try:
        contents = os.listdir(directory_path)
        print(f"Contents of '{directory_path}':")
        for item in contents:
            print(item)
    except FileNotFoundError:
        print(f"The directory '{directory_path}' does not exist.")
    except NotADirectoryError:
        print(f"The path '{directory_path}' is not a directory.")
    except PermissionError:
        print(f"Permission denied to access '{directory_path}'.")
示例
list_directory_contents("/path/to/your/directory")

2、区分文件和文件夹

在获取目录内容之后，通常需要区分文件和文件夹。可以使用os.path.isdir()和os.path.isfile()函数来分别判断目录项是文件还是文件夹。

import os
def list_files_and_folders(directory_path):
    try:
        contents = os.listdir(directory_path)
        files = []
        folders = []
        for item in contents:
            item_path = os.path.join(directory_path, item)
            if os.path.isdir(item_path):
                folders.append(item)
            elif os.path.isfile(item_path):
                files.append(item)
        print(f"Files in '{directory_path}': {files}")
        print(f"Folders in '{directory_path}': {folders}")
    except FileNotFoundError:
        print(f"The directory '{directory_path}' does not exist.")
    except NotADirectoryError:
        print(f"The path '{directory_path}' is not a directory.")
    except PermissionError:
        print(f"Permission denied to access '{directory_path}'.")
示例
list_files_and_folders("/path/to/your/directory")

二、使用glob模块

1、匹配特定模式的文件

glob模块可以用来匹配特定模式的文件名，类似于shell中的文件名模式匹配。它使用Unix风格的路径名模式匹配规则。

import glob
def list_files_with_pattern(directory_path, pattern):
    search_pattern = os.path.join(directory_path, pattern)
    files = glob.glob(search_pattern)
    print(f"Files matching '{pattern}' in '{directory_path}':")
    for file in files:
        print(file)
示例
list_files_with_pattern("/path/to/your/directory", "*.txt")

2、递归查找文件

glob模块还支持递归查找文件，可以使用递归通配符来实现。

import glob
def list_all_files_recursively(directory_path):
    search_pattern = os.path.join(directory_path, '')
    files = glob.glob(search_pattern, recursive=True)
    print(f"All files in '{directory_path}' recursively:")
    for file in files:
        print(file)
示例
list_all_files_recursively("/path/to/your/directory")

三、使用pathlib模块

1、读取目录内容

pathlib模块提供了面向对象的路径操作方法，是Python 3.4引入的新模块。使用Path类来读取目录内容。

from pathlib import Path
def list_directory_contents_pathlib(directory_path):
    path = Path(directory_path)
    if path.exists() and path.is_dir():
        contents = list(path.iterdir())
        print(f"Contents of '{directory_path}':")
        for item in contents:
            print(item)
    else:
        print(f"The directory '{directory_path}' does not exist or is not a directory.")
示例
list_directory_contents_pathlib("/path/to/your/directory")

2、区分文件和文件夹

pathlib模块可以使用is_file()和is_dir()方法来区分文件和文件夹。

from pathlib import Path
def list_files_and_folders_pathlib(directory_path):
    path = Path(directory_path)
    if path.exists() and path.is_dir():
        files = [item for item in path.iterdir() if item.is_file()]
        folders = [item for item in path.iterdir() if item.is_dir()]
        print(f"Files in '{directory_path}': {files}")
        print(f"Folders in '{directory_path}': {folders}")
    else:
        print(f"The directory '{directory_path}' does not exist or is not a directory.")
示例
list_files_and_folders_pathlib("/path/to/your/directory")

四、处理大型目录

1、使用os.walk()

对于大型目录，os.walk()是一个非常有用的函数，它生成目录树下的所有文件名，可以递归遍历目录树。os.walk()返回一个三元组 (dirpath, dirnames, filenames)，其中：

dirpath 是当前目录的路径；
dirnames 是当前目录下的子目录名列表；
filenames 是当前目录下的文件名列表。

import os
def walk_directory(directory_path):
    for dirpath, dirnames, filenames in os.walk(directory_path):
        print(f'Found directory: {dirpath}')
        for file_name in filenames:
            print(f'\t{file_name}')
示例
walk_directory("/path/to/your/directory")

2、处理大文件列表

在处理大型目录时，可能会遇到内存问题或性能瓶颈。为了优化性能，可以逐步处理文件，避免一次性加载过多的文件名。

import os
def walk_directory_large(directory_path):
    for dirpath, dirnames, filenames in os.walk(directory_path):
        print(f'Found directory: {dirpath}')
        for file_name in filenames:
            # 逐步处理文件，避免一次性加载过多文件
            process_file(os.path.join(dirpath, file_name))
def process_file(file_path):
    # 在这里处理文件，例如读取、分析等
    print(f'Processing file: {file_path}')
示例
walk_directory_large("/path/to/your/directory")

五、异常处理

在读取目录时，可能会遇到各种异常情况，如目录不存在、权限不足等。合理的异常处理可以提高代码的健壮性。

1、捕获常见异常

常见的异常包括FileNotFoundError、NotADirectoryError、PermissionError等。

import os
def safe_list_directory(directory_path):
    try:
        contents = os.listdir(directory_path)
        print(f"Contents of '{directory_path}': {contents}")
    except FileNotFoundError:
        print(f"The directory '{directory_path}' does not exist.")
    except NotADirectoryError:
        print(f"The path '{directory_path}' is not a directory.")
    except PermissionError:
        print(f"Permission denied to access '{directory_path}'.")
示例
safe_list_directory("/path/to/your/directory")

2、日志记录

在实际应用中，使用日志记录异常信息可以帮助追踪和诊断问题。

import os
import logging
logging.basicConfig(level=logging.ERROR, filename='errors.log')
def list_directory_with_logging(directory_path):
    try:
        contents = os.listdir(directory_path)
        print(f"Contents of '{directory_path}': {contents}")
    except Exception as e:
        logging.error(f"Error accessing '{directory_path}': {e}")
示例
list_directory_with_logging("/path/to/your/directory")

六、性能优化

在处理大量文件和目录时，性能优化是一个重要考虑因素。

1、使用生成器

生成器可以帮助优化内存使用，特别是在处理大量数据时。os.scandir()是一个高效的生成器，可以用来代替os.listdir()。

import os
def list_directory_with_scandir(directory_path):
    try:
        with os.scandir(directory_path) as entries:
            for entry in entries:
                print(entry.name)
    except FileNotFoundError:
        print(f"The directory '{directory_path}' does not exist.")
    except NotADirectoryError:
        print(f"The path '{directory_path}' is not a directory.")
    except PermissionError:
        print(f"Permission denied to access '{directory_path}'.")
示例
list_directory_with_scandir("/path/to/your/directory")

2、多线程和多进程

在处理I/O密集型任务时，多线程和多进程可以显著提高性能。Python的concurrent.futures模块提供了方便的多线程和多进程接口。

import os
from concurrent.futures import ThreadPoolExecutor
def process_file(file_path):
    # 模拟文件处理
    print(f'Processing file: {file_path}')
def list_directory_with_threads(directory_path):
    try:
        with os.scandir(directory_path) as entries:
            with ThreadPoolExecutor(max_workers=4) as executor:
                for entry in entries:
                    if entry.is_file():
                        executor.submit(process_file, entry.path)
    except FileNotFoundError:
        print(f"The directory '{directory_path}' does not exist.")
    except NotADirectoryError:
        print(f"The path '{directory_path}' is not a directory.")
    except PermissionError:
        print(f"Permission denied to access '{directory_path}'.")
示例
list_directory_with_threads("/path/to/your/directory")