python如何读取不同文件夹数据

Python读取不同文件夹的数据的方法包括：使用os模块、使用pathlib模块、使用glob模块、使用pandas库，这些方法各有优劣，适用于不同的场景。os模块常用于处理操作系统路径和文件的基本操作，pathlib模块提供了更现代的路径对象操作方式，glob模块便于批量文件匹配，pandas库则适合处理数据分析。以下内容将详细介绍这些方法的使用及其适用场景。

一、使用os模块读取文件夹数据

os模块是Python标准库中的一个模块，提供了丰富的文件和目录操作功能。通过os模块，您可以轻松地读取不同文件夹的数据。

获取文件路径列表

首先，我们需要获取目标文件夹内的所有文件路径。可以使用os.listdir()函数来列出指定目录中的所有文件和文件夹。

import os
folder_path = 'path/to/your/folder'
file_list = os.listdir(folder_path)
遍历文件夹中的所有文件并打印文件路径
for file_name in file_list:
    file_path = os.path.join(folder_path, file_name)
    print(file_path)

读取文件内容

获取文件路径后，我们可以使用open()函数来读取文件内容。以下示例展示了如何读取文本文件的内容：

for file_name in file_list:
    file_path = os.path.join(folder_path, file_name)
    with open(file_path, 'r') as file:
        content = file.read()
        print(content)

递归读取子文件夹数据

如果文件夹内包含子文件夹，我们可以使用os.walk()函数递归地遍历所有子文件夹和文件：

for root, dirs, files in os.walk(folder_path):
    for file_name in files:
        file_path = os.path.join(root, file_name)
        with open(file_path, 'r') as file:
            content = file.read()
            print(content)

二、使用pathlib模块读取文件夹数据

pathlib模块是Python 3.4引入的一个模块，提供了面向对象的文件系统路径操作。相比于os模块，pathlib模块的API更加直观和易用。

获取文件路径列表

使用pathlib模块，可以通过Path对象轻松地获取文件夹中的所有文件路径：

from pathlib import Path
folder_path = Path('path/to/your/folder')
file_list = list(folder_path.glob('*'))
遍历文件夹中的所有文件并打印文件路径
for file_path in file_list:
    print(file_path)

读取文件内容

获取文件路径后，可以使用Path对象的read_text()方法读取文件内容：

for file_path in file_list:
    content = file_path.read_text()
    print(content)

递归读取子文件夹数据

通过Path对象的rglob()方法，可以递归地获取文件夹及其子文件夹中的所有文件路径：

file_list = list(folder_path.rglob('*'))
for file_path in file_list:
    content = file_path.read_text()
    print(content)

三、使用glob模块读取文件夹数据

glob模块提供了文件模式匹配操作，允许使用通配符模式来匹配文件路径。glob模块特别适合批量处理特定类型的文件。

获取文件路径列表

可以使用glob.glob()函数获取文件夹中的所有文件路径：

import glob
folder_path = 'path/to/your/folder'
file_list = glob.glob(f'{folder_path}/*')
遍历文件夹中的所有文件并打印文件路径
for file_path in file_list:
    print(file_path)

读取文件内容

获取文件路径后，可以使用open()函数读取文件内容：

for file_path in file_list:
    with open(file_path, 'r') as file:
        content = file.read()
        print(content)

递归读取子文件夹数据

通过glob.glob()函数的递归模式，可以获取文件夹及其子文件夹中的所有文件路径：

file_list = glob.glob(f'{folder_path}//*', recursive=True)
for file_path in file_list:
    with open(file_path, 'r') as file:
        content = file.read()
        print(content)

四、使用pandas库读取文件夹数据

pandas库是Python中强大的数据分析工具，适合处理结构化数据。可以使用pandas库读取文件夹中的数据并进行分析操作。

读取CSV文件

如果文件夹中包含多个CSV文件，可以使用pandas库读取并合并这些文件的数据：

import pandas as pd
folder_path = 'path/to/your/folder'
file_list = glob.glob(f'{folder_path}/*.csv')
读取所有CSV文件并合并为一个DataFrame
df_list = [pd.read_csv(file_path) for file_path in file_list]
combined_df = pd.concat(df_list, ignore_index=True)
print(combined_df)

读取Excel文件

同样，可以使用pandas库读取文件夹中的Excel文件：

file_list = glob.glob(f'{folder_path}/*.xlsx')
读取所有Excel文件并合并为一个DataFrame
df_list = [pd.read_excel(file_path) for file_path in file_list]
combined_df = pd.concat(df_list, ignore_index=True)
print(combined_df)

读取JSON文件

对于JSON文件，也可以使用pandas库读取并合并数据：

file_list = glob.glob(f'{folder_path}/*.json')
读取所有JSON文件并合并为一个DataFrame
df_list = [pd.read_json(file_path) for file_path in file_list]
combined_df = pd.concat(df_list, ignore_index=True)
print(combined_df)