python如何切割csv文件

在Python中，可以通过多种方式切割CSV文件，例如使用pandas库、csv模块、或者是直接操作文件进行分割。使用pandas库、csv模块、利用文件行数进行手动分割是常用的方法。其中，pandas库由于其强大的数据处理能力和简洁的语法，是最受欢迎的选择。下面将详细介绍使用这些方法切割CSV文件的步骤和技巧。

一、使用PANDAS库切割CSV文件

Pandas是一个强大的数据分析库，提供了丰富的函数和方法来处理CSV文件。

1.1 导入CSV文件

首先，我们需要导入pandas库并加载CSV文件。通过pandas.read_csv()函数，可以很方便地将CSV文件加载到DataFrame中。

import pandas as pd
加载CSV文件
df = pd.read_csv('yourfile.csv')

1.2 切割CSV文件

可以通过行数、列数等多种方式对DataFrame进行切割。例如，可以根据行数将CSV文件分为多个部分：

# 按行切割
chunk_size = 1000  # 每个文件包含1000行
for i in range(0, len(df), chunk_size):
    chunk = df[i:i+chunk_size]
    chunk.to_csv(f'output_{i//chunk_size}.csv', index=False)

通过上述代码，可以将一个大型CSV文件分割为多个小文件，每个文件包含1000行数据。

1.3 按条件切割

除了按行分割外，还可以根据某一列的值进行分割：

# 按某列值分割
for value, group in df.groupby('column_name'):
    group.to_csv(f'{value}_output.csv', index=False)

上述代码会根据指定列的值，将DataFrame分割成若干个小的CSV文件。

二、使用CSV模块切割CSV文件

Python内置的csv模块也可以用来处理CSV文件。

2.1 读取CSV文件

首先，通过csv.reader()读取CSV文件：

import csv
with open('yourfile.csv', newline='') as csvfile:
    csvreader = csv.reader(csvfile)
    header = next(csvreader)  # 读取表头

2.2 手动切割CSV文件

通过循环遍历，可以手动将CSV文件分割为多个小文件：

chunk_size = 1000
chunk = []
for i, row in enumerate(csvreader):
    chunk.append(row)
    if (i + 1) % chunk_size == 0:
        with open(f'output_{i//chunk_size}.csv', 'w', newline='') as outfile:
            csvwriter = csv.writer(outfile)
            csvwriter.writerow(header)  # 写入表头
            csvwriter.writerows(chunk)
        chunk = []
处理剩余行
if chunk:
    with open(f'output_final.csv', 'w', newline='') as outfile:
        csvwriter = csv.writer(outfile)
        csvwriter.writerow(header)
        csvwriter.writerows(chunk)

通过这种方法，可以灵活地控制分割的大小和方式。

三、通过文件行数手动切割CSV文件

有时候，对于非常大的CSV文件，可能需要直接通过读取行数的方式进行分割。

3.1 计算文件总行数

首先，计算CSV文件的总行数：

def count_lines(filename):
    with open(filename, 'r') as f:
        for i, line in enumerate(f):
            pass
    return i + 1
total_lines = count_lines('yourfile.csv')

3.2 手动分割文件

根据总行数和所需的分割大小，手动分割文件：

chunk_size = 1000
with open('yourfile.csv', 'r') as infile:
    header = infile.readline()  # 读取表头
    for i in range(0, total_lines, chunk_size):
        with open(f'output_{i//chunk_size}.csv', 'w') as outfile:
            outfile.write(header)
            for _ in range(chunk_size):
                line = infile.readline()
                if not line:
                    break
                outfile.write(line)