python如何读非常大的excel

Python 读非常大的 Excel 文件可以通过使用以下几种方法：pandas、openpyxl、xlrd、dask、pyxlsb。 其中一种有效的方法是使用 pandas 库结合 dask 库，这种方法可以有效处理大型数据集，避免内存溢出的问题。使用pandas和dask处理大文件时，可以分块读取数据，减少内存占用，并且可以并行处理数据，提高效率。

一、Pandas 读取大型 Excel 文件

pandas 是一个强大的数据处理库，通常可以用来处理相对较大的数据集。尽管 pandas 在处理非常大的 Excel 文件时可能会遇到内存限制问题，但通过一些技巧仍然可以有效地使用它。

import pandas as pd
使用 pandas 读取 Excel 文件
excel_file = "large_file.xlsx"
chunk_size = 100000  # 每次读取的行数
逐块读取数据
chunks = pd.read_excel(excel_file, chunksize=chunk_size)
for chunk in chunks:
    # 对每个块进行操作
    print(chunk)

二、使用 Openpyxl 库

openpyxl 是一个处理 Excel 文件的库，适用于读写 Excel 2010 xlsx/xlsm/xltx/xltm 文件。它的内存占用相对较低，适合处理较大的文件。

from openpyxl import load_workbook
使用 openpyxl 读取 Excel 文件
excel_file = "large_file.xlsx"
workbook = load_workbook(filename=excel_file, read_only=True)
sheet = workbook.active
逐行读取数据
for row in sheet.iter_rows():
    row_data = [cell.value for cell in row]
    print(row_data)

三、使用 xlrd 库

xlrd 是一个用于读取 Excel 文件的库，适用于旧版的 xls 文件格式。虽然 xlrd 也支持 xlsx 文件，但性能上不如 openpyxl。

import xlrd
使用 xlrd 读取 Excel 文件
excel_file = "large_file.xls"
workbook = xlrd.open_workbook(excel_file)
sheet = workbook.sheet_by_index(0)
逐行读取数据
for row_idx in range(sheet.nrows):
    row_data = sheet.row_values(row_idx)
    print(row_data)

四、使用 Dask 库

dask 是一个并行计算库，能够处理超过内存限制的大数据集。结合 pandas，可以有效处理非常大的 Excel 文件。

import dask.dataframe as dd
使用 Dask 读取 Excel 文件
excel_file = "large_file.xlsx"
df = dd.read_excel(excel_file, sheet_name=None, blocksize=64000000)
对数据进行操作
print(df.head())

五、使用 pyxlsb 库

pyxlsb 是一个专门用于读取 Excel 二进制文件（xlsb）的库。对于非常大的 xlsb 文件，pyxlsb 表现优异。

from pyxlsb import open_workbook
使用 pyxlsb 读取 Excel 文件
excel_file = "large_file.xlsb"
with open_workbook(excel_file) as wb:
    with wb.get_sheet(1) as sheet:
        for row in sheet.rows():
            row_data = [item.v for item in row]
            print(row_data)

六、优化技巧

1、分块读取数据

无论使用上述哪种方法，分块读取数据都是处理大文件的重要技巧。通过指定 chunksize 参数，可以一次读取一部分数据，减少内存占用。

import pandas as pd
使用 pandas 分块读取 Excel 文件
excel_file = "large_file.xlsx"
chunk_size = 100000  # 每次读取的行数
逐块读取数据
chunks = pd.read_excel(excel_file, chunksize=chunk_size)
for chunk in chunks:
    # 对每个块进行操作
    print(chunk)

2、使用适当的数据类型

在读取数据时，指定合适的数据类型可以显著减少内存占用。例如，使用 pandas 读取数据时，可以通过 dtype 参数指定数据类型。

import pandas as pd
使用 pandas 读取 Excel 文件，并指定数据类型
excel_file = "large_file.xlsx"
dtype = {
    'column1': 'int32',
    'column2': 'float32',
    'column3': 'category'
}
df = pd.read_excel(excel_file, dtype=dtype)
print(df.head())

3、并行处理数据

dask 库可以通过并行计算提高数据处理的效率。结合 pandas，可以实现高效的数据处理。

import dask.dataframe as dd
使用 Dask 并行处理 Excel 文件
excel_file = "large_file.xlsx"
df = dd.read_excel(excel_file, sheet_name=None, blocksize=64000000)
对数据进行操作
print(df.head())

4、删除不必要的列

在读取数据时，可以选择性地读取所需的列，忽略不必要的列，从而减少内存占用。

import pandas as pd
使用 pandas 读取 Excel 文件，并选择性读取列
excel_file = "large_file.xlsx"
usecols = ['column1', 'column2', 'column3']
df = pd.read_excel(excel_file, usecols=usecols)
print(df.head())

七、总结

处理非常大的 Excel 文件需要考虑内存占用和计算效率。通过使用 pandas、openpyxl、xlrd、dask 和 pyxlsb 等库，可以有效地读取和处理大型数据集。分块读取数据、使用适当的数据类型、并行处理数据和删除不必要的列等优化技巧可以显著提高处理效率，避免内存溢出问题。根据具体需求选择合适的方法和库，可以确保在处理大数据文件时获得最佳性能和效果。

在实际应用中，可以根据数据文件的具体情况和硬件资源，选择合适的处理方法和库。同时，合理优化代码和使用适当的数据处理技巧，可以确保在处理大数据文件时达到最佳的性能和效果。希望这些方法和技巧能够帮助您更高效地处理非常大的 Excel 文件，并从中提取有价值的信息。