python如何遍历文件夹csv数据

要遍历文件夹中的CSV数据，可以使用Python的os模块来获取文件夹中的所有文件，然后使用pandas库来读取和处理这些CSV文件。具体方法包括：使用os.listdir()或os.walk()遍历文件夹、使用pandas.read_csv()读取CSV文件、处理数据。

遍历文件夹中的CSV数据是Python编程中的一个常见任务，尤其是当你需要对大量CSV文件进行批量处理时。本文将详细介绍如何使用Python来遍历文件夹中的CSV数据，包含从遍历文件夹、读取CSV文件到处理和分析数据的详细步骤。

一、遍历文件夹

遍历文件夹是处理文件的第一步，Python的os模块提供了多种方法来实现这一功能。

1、使用os.listdir()

os.listdir()可以列出指定目录中的所有文件和子目录。你可以结合os.path.isfile()来过滤出文件。

import os
directory = 'path/to/your/folder'
获取文件夹中的所有文件和子目录
all_files = os.listdir(directory)
仅保留文件
files = [f for f in all_files if os.path.isfile(os.path.join(directory, f))]
print(files)

2、使用os.walk()

os.walk()可以递归遍历目录树，返回每个目录中的文件名和子目录名。它非常适合遍历嵌套的文件夹结构。

import os
directory = 'path/to/your/folder'
for root, dirs, files in os.walk(directory):
    for file in files:
        print(os.path.join(root, file))

二、读取CSV文件

使用pandas库的read_csv()函数可以方便地读取CSV文件。你可以将遍历到的文件路径传递给read_csv()函数来读取数据。

1、安装pandas

如果你还没有安装pandas，可以使用pip进行安装：

pip install pandas

2、读取CSV文件

import pandas as pd
file_path = 'path/to/your/csvfile.csv'
读取CSV文件
df = pd.read_csv(file_path)
print(df.head())

三、批量处理CSV文件

结合遍历文件夹和读取CSV文件，可以实现对文件夹中所有CSV文件的批量处理。

1、遍历文件夹并读取CSV文件

import os
import pandas as pd
directory = 'path/to/your/folder'
遍历文件夹中的所有CSV文件
for root, dirs, files in os.walk(directory):
    for file in files:
        if file.endswith('.csv'):
            file_path = os.path.join(root, file)
            # 读取CSV文件
            df = pd.read_csv(file_path)
            # 在这里可以对数据进行处理
            print(f"File: {file}")
            print(df.head())

2、处理CSV数据

你可以在读取CSV文件后对数据进行各种处理，如数据清洗、转换、分析等。

import os
import pandas as pd
directory = 'path/to/your/folder'
遍历文件夹中的所有CSV文件
for root, dirs, files in os.walk(directory):
    for file in files:
        if file.endswith('.csv'):
            file_path = os.path.join(root, file)
            # 读取CSV文件
            df = pd.read_csv(file_path)
            # 处理数据（例如：删除缺失值、计算统计信息等）
            df.dropna(inplace=True)
            print(f"File: {file}")
            print(df.describe())

四、优化代码和性能

在处理大量CSV文件时，优化代码和性能是非常重要的。以下是一些建议：

1、并行处理

使用多线程或多进程库（如concurrent.futures、multiprocessing）可以加速文件处理。

import os
import pandas as pd
from concurrent.futures import ThreadPoolExecutor
directory = 'path/to/your/folder'
def process_file(file_path):
    df = pd.read_csv(file_path)
    df.dropna(inplace=True)
    print(f"Processed: {file_path}")
    return df.describe()
使用线程池并行处理文件
with ThreadPoolExecutor(max_workers=4) as executor:
    futures = []
    for root, dirs, files in os.walk(directory):
        for file in files:
            if file.endswith('.csv'):
                file_path = os.path.join(root, file)
                futures.append(executor.submit(process_file, file_path))
    for future in futures:
        print(future.result())

2、逐块读取

对于非常大的CSV文件，可以使用pandas的chunksize参数逐块读取，以减少内存使用。

import pandas as pd
file_path = 'path/to/large/csvfile.csv'
逐块读取CSV文件
for chunk in pd.read_csv(file_path, chunksize=10000):
    # 处理每个块
    chunk.dropna(inplace=True)
    print(chunk.describe())