python如何遍历dataframe

在Python中遍历DataFrame的方法包括：iterrows()、itertuples()、items()等。iterrows()方法返回每行的索引和数据内容、itertuples()将每行作为命名元组返回、items()方法则按列遍历，返回列名及数据。其中，iterrows()方法最常用，因为它能方便地访问每行的索引和值。下面将详细介绍这些方法及其使用场景。

一、ITERROWS()方法

iterrows()是遍历DataFrame行的常用方法之一。它返回一个生成器对象，生成一对(index, Series)对，其中index是行索引，Series是包含行数据的pandas Series对象。

基本用法

使用iterrows()方法，可以通过循环访问DataFrame的每一行。以下是一个简单的示例：

import pandas as pd
创建一个简单的DataFrame
data = {'Name': ['Alice', 'Bob', 'Charlie'],
        'Age': [25, 30, 35],
        'City': ['New York', 'San Francisco', 'Los Angeles']}
df = pd.DataFrame(data)
使用iterrows()遍历DataFrame
for index, row in df.iterrows():
    print(f"Index: {index}, Name: {row['Name']}, Age: {row['Age']}, City: {row['City']}")

性能考量

虽然iterrows()方法使用方便，但由于它返回的是Series对象，性能相对较低。这是因为每次迭代都会创建一个新的Series对象，增加了内存和计算的开销。因此，对于大型DataFrame，建议考虑其他方法以提高性能。

二、ITERTUPLES()方法

itertuples()方法是另一种遍历DataFrame行的方式。与iterrows()不同，itertuples()返回的是一个命名元组，这使得它在某些情况下更高效。

基本用法

itertuples()返回的命名元组可以通过属性名访问数据。以下是一个示例：

import pandas as pd
创建一个简单的DataFrame
data = {'Name': ['Alice', 'Bob', 'Charlie'],
        'Age': [25, 30, 35],
        'City': ['New York', 'San Francisco', 'Los Angeles']}
df = pd.DataFrame(data)
使用itertuples()遍历DataFrame
for row in df.itertuples():
    print(f"Index: {row.Index}, Name: {row.Name}, Age: {row.Age}, City: {row.City}")

性能考量

相比iterrows()，itertuples()方法性能更优，因为它避免了创建额外的Series对象。对于需要在循环中进行大量计算的情况，itertuples()是一个更好的选择。

三、ITEMS()方法

items()方法用于按列遍历DataFrame。它返回一个迭代器，生成一对(column_name, Series)对，其中column_name是列名，Series是包含列数据的pandas Series对象。

基本用法

items()方法非常适合在需要对每列进行操作时使用。以下是一个示例：

import pandas as pd
创建一个简单的DataFrame
data = {'Name': ['Alice', 'Bob', 'Charlie'],
        'Age': [25, 30, 35],
        'City': ['New York', 'San Francisco', 'Los Angeles']}
df = pd.DataFrame(data)
使用items()遍历DataFrame
for column, series in df.items():
    print(f"Column: {column}")
    print(series)

应用场景

items()方法适用于需要对DataFrame的每一列进行分析或处理的场景。例如，可以用它来计算每列的统计信息或应用自定义函数。

四、APPLY()方法

除了上述方法，apply()也是遍历DataFrame的一种方式。apply()方法可以将函数应用于DataFrame的每一行或每一列。

基本用法

apply()方法提供了一个灵活的方式来处理DataFrame数据。以下是一个示例：

import pandas as pd
创建一个简单的DataFrame
data = {'Name': ['Alice', 'Bob', 'Charlie'],
        'Age': [25, 30, 35],
        'City': ['New York', 'San Francisco', 'Los Angeles']}
df = pd.DataFrame(data)
使用apply()方法计算每个名字的长度
name_lengths = df['Name'].apply(len)
print(name_lengths)

高级用法

apply()方法可以与lambda函数结合使用，以实现更复杂的逻辑。例如，可以使用apply()方法来标准化DataFrame中的数值数据。

五、VECTORIZE操作

在许多情况下，使用pandas的内置函数和向量化操作可以避免显式遍历DataFrame，从而提高性能。

示例

以下示例展示了如何使用向量化操作来计算年龄的平方，而不是显式遍历：

import pandas as pd
创建一个简单的DataFrame
data = {'Name': ['Alice', 'Bob', 'Charlie'],
        'Age': [25, 30, 35],
        'City': ['New York', 'San Francisco', 'Los Angeles']}
df = pd.DataFrame(data)
使用向量化操作计算年龄的平方
df['Age_squared'] = df['Age']  2
print(df)

性能优势

向量化操作利用了底层的C和Fortran代码，能够显著提高性能。对于需要进行大量计算的场景，建议优先考虑向量化操作。

六、QUERY()方法

query()方法提供了一种基于字符串表达式的灵活过滤方式。它允许对DataFrame进行复杂的条件查询，而无需显式遍历。

基本用法

以下示例展示了如何使用query()方法来过滤DataFrame：

import pandas as pd
创建一个简单的DataFrame
data = {'Name': ['Alice', 'Bob', 'Charlie'],
        'Age': [25, 30, 35],
        'City': ['New York', 'San Francisco', 'Los Angeles']}
df = pd.DataFrame(data)
使用query()方法过滤年龄大于30的行
result = df.query('Age > 30')
print(result)

高级用法

query()方法支持复杂的逻辑表达式和变量替换，使其非常适合动态查询的场景。

七、总结

综上所述，遍历DataFrame的方法有多种选择，每种方法都有其适用场景和性能特点。对于小型DataFrame或需要逐行处理的操作，iterrows()和itertuples()是不错的选择。对于需要逐列处理的操作，items()方法非常方便。apply()方法提供了灵活的行列操作能力，而向量化操作和query()方法则在性能上表现出色，适合大规模数据处理。根据具体需求选择合适的方法，能够有效提高代码的效率和可读性。