Python如何清洗Excel表

Python清洗Excel表的方法有多种，通常包括使用pandas库加载数据、处理缺失值、数据格式转换、删除重复项、过滤数据。其中，pandas库是最常用的工具，它提供了强大的数据处理能力。使用pandas加载Excel数据后，可以利用其内置函数进行数据清洗，比如fillna()处理缺失值、drop_duplicates()删除重复行、astype()转换数据类型等。具体操作步骤和技巧将在下文详细展开。

一、使用Pandas库加载Excel数据

使用Python进行Excel数据清洗，首先要做的就是将Excel文件加载到Python环境中。这里我们主要使用pandas库，它提供了便捷的read_excel()函数。

加载Excel文件

使用pandas.read_excel()可以轻松将Excel文件加载为DataFrame对象。在加载时可以指定工作表名称、加载的列和行范围等。
```
import pandas as pd
df = pd.read_excel('data.xlsx', sheet_name='Sheet1')
```
检查数据

加载数据后，使用head()或tail()函数查看数据的前几行或后几行，了解数据的基本结构。
```
print(df.head())
```
注意：在加载数据时，还可以设置skiprows、usecols等参数来跳过特定行或仅加载特定列。

二、处理缺失值

缺失值是数据清洗中的常见问题，pandas提供了多种方法处理缺失值。

填充缺失值

使用fillna()函数可以填充缺失值。例如，可以用均值、中位数或特定值填充。
```
df['column_name'].fillna(df['column_name'].mean(), inplace=True)
```
删除缺失值

使用dropna()函数删除含有缺失值的行或列。
```
df.dropna(inplace=True)
```
注意：fillna()和dropna()函数的inplace参数设置为True时，会直接对原DataFrame进行修改。

三、数据格式转换

为了保证数据的一致性和正确性，经常需要对数据进行格式转换。

转换数据类型

使用astype()函数可以将列转换为指定的数据类型，例如，将字符串转换为数值型。
```
df['column_name'] = df['column_name'].astype(int)
```
日期格式处理

日期数据在Excel中可能存在不同的格式，使用pandas的to_datetime()可以统一日期格式。
```
df['date_column'] = pd.to_datetime(df['date_column'])
```
注意：在转换数据类型时，需要确保数据格式与目标类型兼容，否则可能会导致转换错误。

四、删除重复项

数据集中可能存在重复项，使用drop_duplicates()函数可以轻松删除。

删除重复行

默认情况下，drop_duplicates()会删除完全重复的行。
```
df.drop_duplicates(inplace=True)
```
基于特定列删除重复

可以指定基于某些列来判断重复项。
```
df.drop_duplicates(subset=['column1', 'column2'], inplace=True)
```
注意：在删除重复项时，可以使用keep参数指定保留哪一行，默认保留首次出现的行。

五、数据过滤和选择

数据过滤是清洗数据的重要步骤，可以根据条件选择需要的数据。

条件过滤

使用布尔索引可以根据条件过滤数据。
```
filtered_df = df[df['column_name'] > threshold]
```
选择特定列

可以通过列名选择需要的列，形成新的DataFrame。
```
selected_columns_df = df[['column1', 'column2']]
```
注意：在使用布尔索引时，需要确保条件表达式返回布尔类型的Series对象。

六、数据合并和重塑

在清洗数据过程中，可能需要合并多个数据集或重塑数据结构。

合并数据

使用merge()函数可以合并两个DataFrame，类似于SQL中的JOIN操作。
```
merged_df = pd.merge(df1, df2, on='key_column')
```
重塑数据结构

使用pivot_table()或melt()函数可以重塑数据结构，适应分析需求。
```
pivot_df = df.pivot_table(index='column1', columns='column2', values='value_column')
```
注意：在合并数据时，确保合并键的唯一性和完整性，以避免数据丢失或重复。

七、导出清洗后的数据

数据清洗完成后，可以将清洗后的数据导出为新的Excel文件，便于后续分析。

导出为Excel文件

使用to_excel()函数可以将DataFrame导出为Excel文件。
```
df.to_excel('cleaned_data.xlsx', index=False)
```
指定工作表和格式

在导出时，可以指定工作表名称和不导出索引。

注意：在导出时，确保路径和文件名正确，以避免文件覆盖或导出失败。