要删除Python数据框中的重复行，可以使用以下几种方法：使用drop_duplicates()方法、指定特定列检查重复项以及保留第一行或最后一行。 其中，使用drop_duplicates()方法是最常见的方式，它可以快速有效地删除重复的行。下面我们将详细介绍这几种方法。
一、使用drop_duplicates()方法
drop_duplicates()是Pandas库中用于删除DataFrame中的重复行的方法。默认情况下，它会删除所有列中值完全相同的行，只保留第一行。你可以通过设置参数来保留最后一行或自定义需要检查的列。
import pandas as pd
创建示例数据框
data = {
'A': [1, 2, 2, 4, 5],
'B': [5, 6, 6, 8, 9],
'C': [9, 10, 10, 12, 13]
}
df = pd.DataFrame(data)
删除重复行，只保留第一行
df_no_duplicates = df.drop_duplicates()
print(df_no_duplicates)
上述代码将会删除DataFrame中重复的行，并且只保留第一行。输出结果如下：
A B C
0 1 5 9
1 2 6 10
3 4 8 12
4 5 9 13
详细描述：
使用drop_duplicates()方法时，可以通过设置keep参数来保留第一行或最后一行。keep='first'表示保留第一行，keep='last'表示保留最后一行。如果设置keep=False，则会删除所有重复的行。
# 删除重复行，只保留最后一行
df_no_duplicates_last = df.drop_duplicates(keep='last')
print(df_no_duplicates_last)
输出结果如下：
A B C
0 1 5 9
2 2 6 10
3 4 8 12
4 5 9 13
二、指定特定列检查重复项
有时，我们只需检查特定列是否存在重复项，而不是整个行。这时可以使用subset参数指定列名列表。
# 只检查列'A'和'B'是否有重复值
df_no_duplicates_subset = df.drop_duplicates(subset=['A', 'B'])
print(df_no_duplicates_subset)
输出结果如下：
A B C
0 1 5 9
1 2 6 10
3 4 8 12
4 5 9 13
三、在原地修改数据框
如果不需要创建新的DataFrame对象，而是直接在原DataFrame上修改，可以使用inplace=True参数。
# 在原地删除重复行
df.drop_duplicates(inplace=True)
print(df)
输出结果如下：
A B C
0 1 5 9
1 2 6 10
3 4 8 12
4 5 9 13
四、删除特定列的重复值并保留行
有时我们希望删除某列的重复值，但保留其他列的数据。这可以通过先删除重复值，然后再合并回来实现。
# 创建示例数据框
data = {
'A': [1, 2, 2, 4, 5],
'B': [5, 6, 6, 8, 9],
'C': [9, 10, 10, 12, 13]
}
df = pd.DataFrame(data)
删除列'A'的重复值
df_unique_A = df.drop_duplicates(subset=['A'])
合并回原来的DataFrame
df_combined = pd.merge(df_unique_A, df, on='A', how='left')
print(df_combined)
输出结果如下：
A B_x C_x B_y C_y
0 1 5 9 5 9
1 2 6 10 6 10
2 4 8 12 8 12
3 5 9 13 9 13
五、删除特定条件下的重复行
有时我们希望基于某些特定条件删除重复行，可以结合query方法和drop_duplicates方法实现。
# 删除列'A'值小于4的重复行
df_no_duplicates_condition = df.query('A >= 4').drop_duplicates()
print(df_no_duplicates_condition)
输出结果如下：
A B C
3 4 8 12
4 5 9 13
六、使用duplicated()方法
duplicated()方法用于标记重复行，返回一个布尔值Series。可以结合布尔索引来删除重复行。
# 标记重复行
duplicate_rows = df.duplicated()
删除重复行
df_no_duplicates = df[~duplicate_rows]
print(df_no_duplicates)
输出结果如下：
A B C
0 1 5 9
1 2 6 10
3 4 8 12
4 5 9 13
七、删除特定列的重复值并保留顺序
如果希望删除特定列的重复值并保留行的顺序，可以结合drop_duplicates和sort_index方法。
# 删除列'A'的重复值，并保留顺序
df_unique_A_sorted = df.drop_duplicates(subset=['A']).sort_index()
print(df_unique_A_sorted)
输出结果如下：
A B C
0 1 5 9
1 2 6 10
3 4 8 12
4 5 9 13
八、删除多列组合的重复值
在实际应用中，可能需要删除多列组合的重复值，这时可以使用subset参数指定多个列。
# 删除列'A'和'B'组合的重复值
df_no_duplicates_multiple = df.drop_duplicates(subset=['A', 'B'])
print(df_no_duplicates_multiple)
输出结果如下：
A B C
0 1 5 9
1 2 6 10
3 4 8 12
4 5 9 13
九、删除特定行的重复值并保留顺序
有时希望删除特定行的重复值并保留顺序，可以结合drop_duplicates和sort_index方法实现。
# 删除列'A'的重复值，并保留顺序
df_unique_A_sorted = df.drop_duplicates(subset=['A']).sort_index()
print(df_unique_A_sorted)
输出结果如下：
A B C
0 1 5 9
1 2 6 10
3 4 8 12
4 5 9 13
总结
删除Python数据框中的重复行是数据清洗过程中的一个常见任务。通过使用Pandas库的drop_duplicates()方法，可以快速有效地删除重复行。根据实际需求，可以选择保留第一行或最后一行，指定特定列检查重复项，或在原地修改数据框。此外，还可以结合query方法和duplicated()方法，实现更加灵活的重复行删除操作。希望本篇文章对你理解和掌握数据框重复行删除有所帮助。
相关问答FAQs：
如何在Python的数据框中识别重复的行？
在Python中，可以使用Pandas库的duplicated()方法来识别数据框中的重复行。该方法返回一个布尔值的Series，指示每一行是否为重复行。您可以通过设置keep参数来控制保留哪一行，例如keep='first'将保留第一次出现的行，keep='last'将保留最后一次出现的行。
删除重复行后，如何查看剩余的数据？
在删除重复行后，可以使用数据框的shape属性查看剩余行的数量。这个属性返回一个元组，其中包含数据框的行数和列数。此外，使用head()方法可以快速查看数据框的前几行，以确认重复行已成功删除。
使用Pandas删除重复行时，是否可以选择特定列进行比较？
确实可以。Pandas的drop_duplicates()方法允许您指定需要检查重复的特定列。通过在调用该方法时传入subset参数，您可以定义一个列名列表，只考虑这些列的值来判断是否重复。例如，df.drop_duplicates(subset=['column1', 'column2'])将只根据column1和column2的值来删除重复行。
