python 如何循环读表

Python 循环读表的方法有多种，包括使用 pandas 库、csv 库以及 openpyxl 库等。

其中最常用的方式是使用 pandas 库。

使用 pandas 库

pandas 是一个强大的数据分析库，提供了许多便捷的数据处理功能。以下是使用 pandas 库循环读取表格的示例：

import pandas as pd
读取表格数据
df = pd.read_csv('example.csv')
循环读取每一行
for index, row in df.iterrows():
    print(f'Index: {index}, Row: {row}')

在上述代码中，我们使用 pd.read_csv 方法读取 CSV 文件，然后使用 df.iterrows() 方法循环读取每一行。

一、pandas库的使用

1、读取CSV文件

pandas 库提供了 read_csv 函数来读取 CSV 文件。 read_csv 函数的参数可以根据需要进行调整，例如分隔符、编码格式等。以下是一个示例：

import pandas as pd
读取 CSV 文件
df = pd.read_csv('example.csv')
打印数据
print(df)

2、读取Excel文件

pandas 库提供了 read_excel 函数来读取 Excel 文件。 read_excel 函数的参数可以根据需要进行调整，例如指定工作表、数据范围等。以下是一个示例：

import pandas as pd
读取 Excel 文件
df = pd.read_excel('example.xlsx', sheet_name='Sheet1')
打印数据
print(df)

3、循环读取表格数据

在读取表格数据后，可以使用 pandas 提供的 iterrows 或 itertuples 方法来循环读取每一行数据。这两个方法的区别在于 iterrows 返回的是索引和行数据，而 itertuples 返回的是一个命名元组。以下是示例：

import pandas as pd
读取 CSV 文件
df = pd.read_csv('example.csv')
使用 iterrows 方法循环读取每一行数据
for index, row in df.iterrows():
    print(f'Index: {index}, Row: {row}')
使用 itertuples 方法循环读取每一行数据
for row in df.itertuples():
    print(f'Row: {row}')

4、处理大数据文件

对于大数据文件，直接读取整个文件可能会占用大量内存。可以使用 pandas 提供的 chunksize 参数来分块读取文件，每次读取指定数量的行。以下是示例：

import pandas as pd
分块读取 CSV 文件，每次读取1000行
chunksize = 1000
for chunk in pd.read_csv('example.csv', chunksize=chunksize):
    for index, row in chunk.iterrows():
        print(f'Index: {index}, Row: {row}')

二、csv 库的使用

1、读取CSV文件

csv 库是 Python 内置的库，可以用来处理 CSV 文件。以下是一个读取 CSV 文件的示例：

import csv
打开 CSV 文件
with open('example.csv', mode='r', encoding='utf-8') as file:
    reader = csv.reader(file)
    # 循环读取每一行数据
    for row in reader:
        print(row)

2、读取带有表头的CSV文件

如果 CSV 文件带有表头，可以使用 csv.DictReader 类来读取文件。 DictReader 类会将每一行数据转换为一个字典，键是表头，值是对应的列值。以下是示例：

import csv
打开 CSV 文件
with open('example.csv', mode='r', encoding='utf-8') as file:
    reader = csv.DictReader(file)
    # 循环读取每一行数据
    for row in reader:
        print(row)

3、处理大数据文件

与 pandas 类似，对于大数据文件，可以分块读取 CSV 文件。以下是示例：

import csv
打开 CSV 文件
with open('example.csv', mode='r', encoding='utf-8') as file:
    reader = csv.reader(file)
    # 分块读取文件，每次读取1000行
    chunk_size = 1000
    chunk = []
    for row in reader:
        chunk.append(row)
        if len(chunk) == chunk_size:
            # 处理当前块数据
            for row in chunk:
                print(row)
            chunk = []
    # 处理剩余数据
    if chunk:
        for row in chunk:
            print(row)

三、openpyxl 库的使用

1、读取Excel文件

openpyxl 库是一个用于处理 Excel 文件的第三方库。以下是一个读取 Excel 文件的示例：

from openpyxl import load_workbook
打开 Excel 文件
workbook = load_workbook(filename='example.xlsx')
获取工作表
sheet = workbook.active
循环读取每一行数据
for row in sheet.iter_rows(values_only=True):
    print(row)

2、读取指定工作表

可以通过工作表名称获取指定的工作表。以下是示例：

from openpyxl import load_workbook
打开 Excel 文件
workbook = load_workbook(filename='example.xlsx')
获取指定工作表
sheet = workbook['Sheet1']
循环读取每一行数据
for row in sheet.iter_rows(values_only=True):
    print(row)

3、处理大数据文件

对于大数据文件，可以分块读取 Excel 文件。由于 openpyxl 不支持原生的分块读取，可以通过手动控制读取的行数来实现分块读取。以下是示例：

from openpyxl import load_workbook
打开 Excel 文件
workbook = load_workbook(filename='example.xlsx')
获取工作表
sheet = workbook.active
分块读取文件，每次读取1000行
chunk_size = 1000
rows = list(sheet.iter_rows(values_only=True))
for i in range(0, len(rows), chunk_size):
    chunk = rows[i:i+chunk_size]
    for row in chunk:
        print(row)

四、结论

在 Python 中，循环读取表格数据可以使用多种方法，包括 pandas 库、csv 库以及 openpyxl 库等。选择哪种方法取决于具体需求和文件类型。pandas 库功能强大，适合处理大多数表格数据，csv 库是 Python 内置的库，适合处理简单的 CSV 文件，openpyxl 库适合处理 Excel 文件。对于大数据文件，可以使用分块读取的方法来减少内存占用。无论选择哪种方法，掌握这些工具和技巧可以帮助我们更高效地处理表格数据。