python如何合并几百个excel

Python 合并几百个 Excel 文件的方法

使用 pandas 库、openpyxl 库、glob 模块，是合并几百个 Excel 文件的几个主要方法。下面我们详细讲解如何使用 pandas 库来实现这一操作。

一、安装所需库

在开始编写代码之前，需要确保安装了 pandas 和 openpyxl 库。可以通过 pip 命令进行安装：

pip install pandas openpyxl

二、导入必要的模块

import pandas as pd
import glob
import os

三、获取所有 Excel 文件路径

假设所有 Excel 文件都存储在一个文件夹中，可以使用 glob 模块获取该文件夹中的所有 Excel 文件路径。

folder_path = 'path_to_your_folder'
file_paths = glob.glob(os.path.join(folder_path, '*.xlsx'))

四、读取和合并 Excel 文件

使用 pandas 的 read_excel 函数读取每个 Excel 文件，并将它们合并为一个 DataFrame。可以使用 pd.concat 函数来实现这一点。

all_data = pd.DataFrame()
for file in file_paths:
    df = pd.read_excel(file)
    all_data = pd.concat([all_data, df], ignore_index=True)

五、保存合并后的 Excel 文件

最后，将合并后的 DataFrame 保存为一个新的 Excel 文件。

output_path = 'path_to_output_file/output.xlsx'
all_data.to_excel(output_path, index=False)

六、代码示例

下面是完整的代码示例：

import pandas as pd
import glob
import os
def merge_excel_files(folder_path, output_file):
    # 获取所有 Excel 文件路径
    file_paths = glob.glob(os.path.join(folder_path, '*.xlsx'))
    # 初始化一个空的 DataFrame
    all_data = pd.DataFrame()
    # 读取并合并每个 Excel 文件
    for file in file_paths:
        df = pd.read_excel(file)
        all_data = pd.concat([all_data, df], ignore_index=True)
    # 保存合并后的 Excel 文件
    all_data.to_excel(output_file, index=False)
    print(f"合并后的文件已保存至: {output_file}")
使用示例
folder_path = 'path_to_your_folder'
output_file = 'path_to_output_file/output.xlsx'
merge_excel_files(folder_path, output_file)

七、详细描述核心步骤

1、获取所有 Excel 文件路径

使用 glob 模块可以非常方便地获取指定文件夹中所有符合特定模式的文件路径。os.path.join 用于构建文件路径，这样可以确保代码在不同操作系统上都有良好的兼容性。

2、读取和合并 Excel 文件

pandas 的 read_excel 函数可以读取 Excel 文件，并返回一个 DataFrame。pd.concat 可以将多个 DataFrame 按行合并（默认行为）。在合并过程中，我们使用 ignore_index=True 参数来重新索引合并后的 DataFrame，这样可以避免索引重复的问题。

3、保存合并后的 Excel 文件

合并后的 DataFrame 可以使用 to_excel 函数保存为一个新的 Excel 文件。index=False 参数表示在保存时不需要保留 DataFrame 的索引。

八、优化和扩展

1、处理多个工作表

如果每个 Excel 文件包含多个工作表，并且需要合并所有工作表，可以使用 pd.ExcelFile 来读取工作表名称，然后逐个读取和合并工作表。

for file in file_paths:
    xls = pd.ExcelFile(file)
    for sheet_name in xls.sheet_names:
        df = pd.read_excel(file, sheet_name=sheet_name)
        all_data = pd.concat([all_data, df], ignore_index=True)

2、处理大文件

对于非常大的 Excel 文件，可以使用 chunksize 参数分批读取文件，减少内存使用。

for file in file_paths:
    for chunk in pd.read_excel(file, chunksize=10000):
        all_data = pd.concat([all_data, chunk], ignore_index=True)

3、处理 CSV 文件

如果需要合并的是 CSV 文件，可以使用 read_csv 函数。

file_paths = glob.glob(os.path.join(folder_path, '*.csv'))
for file in file_paths:
    df = pd.read_csv(file)
    all_data = pd.concat([all_data, df], ignore_index=True)

九、总结

使用 pandas 库合并几百个 Excel 文件非常高效，可以通过 read_excel、pd.concat 和 to_excel 等函数轻松实现。同时，通过处理多个工作表、使用 chunksize 参数和合并 CSV 文件等技巧，可以进一步优化和扩展代码。掌握这些方法和技巧，可以帮助我们更加灵活和高效地处理大规模 Excel 文件的合并任务。