Python如何将txt文件去重

Python可以通过以下几种方法来将txt文件去重：使用集合（set）存储唯一值、使用字典保持顺序、使用pandas处理数据。 其中，使用集合（set）存储唯一值 是最常见和简单的方法，因为集合本身的特性即是自动去重，且操作简单高效。

一、使用集合（set）存储唯一值

集合是一种无序且不重复的元素集合。我们可以读取文件中的所有行，然后将这些行添加到集合中，最后再将集合中的内容写回到文件。

def remove_duplicates_with_set(file_path):
    with open(file_path, 'r', encoding='utf-8') as file:
        lines = file.readlines()
    unique_lines = set(lines)
    with open(file_path, 'w', encoding='utf-8') as file:
        for line in unique_lines:
            file.write(line)
使用示例
remove_duplicates_with_set('example.txt')

上述代码会读取文件中的所有行，并将其存储在一个集合中。由于集合中的元素是唯一的，这样就可以去除文件中的重复行。最后，将集合中的内容写回到文件，从而完成去重。

二、使用字典保持顺序

集合去重虽然高效，但它会打乱原始数据的顺序。如果我们需要保留文件中行的原始顺序，可以使用字典来实现。Python 3.7及以上版本的字典是有序的，这意味着它们会保留插入的顺序。

def remove_duplicates_with_order(file_path):
    with open(file_path, 'r', encoding='utf-8') as file:
        lines = file.readlines()
    unique_lines = list(dict.fromkeys(lines))
    with open(file_path, 'w', encoding='utf-8') as file:
        for line in unique_lines:
            file.write(line)
使用示例
remove_duplicates_with_order('example.txt')

在这个方法中，我们使用dict.fromkeys方法创建一个字典，其中键是文件中的行，这样可以去除重复的行。然后，我们将字典的键转换为列表，以保留原始顺序。最后，将去重后的行写回文件。

三、使用pandas处理数据

对于更复杂的数据处理需求，Pandas是一个非常强大的工具。它提供了丰富的功能来处理数据，包括去重。

import pandas as pd
def remove_duplicates_with_pandas(file_path):
    df = pd.read_csv(file_path, header=None, names=['line'], dtype=str)
    df.drop_duplicates(subset='line', keep='first', inplace=True)
    df.to_csv(file_path, index=False, header=False)
使用示例
remove_duplicates_with_pandas('example.txt')

在这个方法中，我们使用pandas.read_csv读取文件，并将每一行视为一个数据帧中的一列。然后使用drop_duplicates方法去除重复行，并将结果写回文件。这个方法特别适用于处理大型文件或需要进行更复杂的数据处理时。

四、手动实现去重算法

除了上述方法，我们也可以手动实现去重算法。这个方法适用于理解和学习去重的原理。

def remove_duplicates_manually(file_path):
    with open(file_path, 'r', encoding='utf-8') as file:
        lines = file.readlines()
    unique_lines = []
    seen = set()
    for line in lines:
        if line not in seen:
            unique_lines.append(line)
            seen.add(line)
    with open(file_path, 'w', encoding='utf-8') as file:
        for line in unique_lines:
            file.write(line)
使用示例
remove_duplicates_manually('example.txt')

在这个方法中，我们使用一个列表unique_lines来存储唯一的行，并使用一个集合seen来跟踪已经遇到的行。对于每一行，如果它不在seen集合中，我们将其添加到unique_lines列表中，并将其添加到seen集合中。最后，将unique_lines中的内容写回文件。

五、基于文件的行去重方法

对于非常大的文件，可能无法一次性将所有行加载到内存中。这种情况下，可以考虑逐行读取文件并去重。

def remove_duplicates_large_file(file_path):
    seen = set()
    with open(file_path, 'r', encoding='utf-8') as infile, open(file_path + '.tmp', 'w', encoding='utf-8') as outfile:
        for line in infile:
            if line not in seen:
                outfile.write(line)
                seen.add(line)
    import os
    os.replace(file_path + '.tmp', file_path)
使用示例
remove_duplicates_large_file('example.txt')