Python逐行写入数据可以通过以下几种方式实现：使用文件对象的write()方法、使用csv模块、使用pandas模块。最常用的方法是使用文件对象的write()方法，这种方式简单直接且适用于多种数据格式。下面详细介绍其中的一种方式。
在Python中，我们可以通过内置的文件操作函数来逐行写入数据。首先，我们需要使用open()函数打开一个文件，如果文件不存在会自动创建。然后，通过调用文件对象的write()方法，逐行写入数据。最后，记得关闭文件以释放资源。
# 打开文件，如果文件不存在会自动创建
file = open('output.txt', 'w')
写入数据
file.write('第一行数据\n')
file.write('第二行数据\n')
关闭文件
file.close()
这种方法适用于简单的文本数据写入，接下来我们详细介绍如何在实际应用中使用这个方法逐行写入数据。
一、使用文件对象的write()方法
基本操作
在使用文件对象的write()方法时，我们可以通过open函数打开文件，并指定其模式为写入模式（'w'）或追加模式（'a'）。然后通过write方法逐行写入数据。这里以写入一组字符串为例：
data = ["第一行数据", "第二行数据", "第三行数据"]
打开文件，模式为写入
with open('output.txt', 'w') as file:
for line in data:
file.write(line + '\n')
在这个例子中，使用with语句可以确保文件在操作完成后自动关闭，无需手动调用close方法。
写入数据生成器
有时我们需要写入的数据是通过某种算法生成的，而不是预先存储在列表中。这时可以使用生成器逐行写入数据：
def data_generator():
for i in range(1, 101):
yield f'第{i}行数据'
with open('output.txt', 'w') as file:
for line in data_generator():
file.write(line + '\n')
处理大数据文件
当处理大文件时，逐行写入数据可以避免一次性加载大量数据到内存中，提高程序的效率和稳定性。例如，读取一个大文件并过滤出特定行，然后写入新文件：
with open('input.txt', 'r') as infile, open('output.txt', 'w') as outfile:
for line in infile:
if '特定关键词' in line:
outfile.write(line)
二、使用csv模块
基本操作
csv模块是Python标准库的一部分，专门用于处理CSV文件。我们可以使用csv.writer对象来逐行写入数据。首先，导入csv模块并打开文件，然后创建csv.writer对象，最后使用writerow方法逐行写入数据：
import csv
data = [
['第一行', '数据1', '数据2'],
['第二行', '数据3', '数据4'],
['第三行', '数据5', '数据6']
]
with open('output.csv', 'w', newline='', encoding='utf-8') as file:
writer = csv.writer(file)
for row in data:
writer.writerow(row)
写入字典数据
如果数据以字典形式存储，可以使用csv.DictWriter对象来逐行写入。首先，指定字段名，然后使用writeheader方法写入表头，最后使用writerow方法写入每一行数据：
import csv
data = [
{'列1': '第一行', '列2': '数据1', '列3': '数据2'},
{'列1': '第二行', '列2': '数据3', '列3': '数据4'},
{'列1': '第三行', '列2': '数据5', '列3': '数据6'}
]
fieldnames = ['列1', '列2', '列3']
with open('output.csv', 'w', newline='', encoding='utf-8') as file:
writer = csv.DictWriter(file, fieldnames=fieldnames)
writer.writeheader()
for row in data:
writer.writerow(row)
处理大CSV文件
在处理大CSV文件时，逐行写入同样可以避免一次性加载大量数据到内存中。例如，读取一个大CSV文件并过滤出特定行，然后写入新文件：
import csv
with open('input.csv', 'r', newline='', encoding='utf-8') as infile, open('output.csv', 'w', newline='', encoding='utf-8') as outfile:
reader = csv.reader(infile)
writer = csv.writer(outfile)
for row in reader:
if '特定关键词' in row:
writer.writerow(row)
三、使用pandas模块
基本操作
pandas是一个强大的数据分析库，通常用于处理结构化数据。我们可以使用pandas.DataFrame.to_csv方法逐行写入数据。首先，导入pandas模块并创建一个DataFrame对象，然后使用to_csv方法将数据写入CSV文件：
import pandas as pd
data = {
'列1': ['第一行', '第二行', '第三行'],
'列2': ['数据1', '数据3', '数据5'],
'列3': ['数据2', '数据4', '数据6']
}
df = pd.DataFrame(data)
df.to_csv('output.csv', index=False, encoding='utf-8')
写入部分数据
有时我们只需写入部分数据，可以通过过滤DataFrame对象，然后使用to_csv方法将过滤后的数据写入文件。例如，写入包含特定关键词的行：
import pandas as pd
data = {
'列1': ['第一行', '第二行', '第三行'],
'列2': ['数据1', '数据3', '数据5'],
'列3': ['数据2', '数据4', '数据6']
}
df = pd.DataFrame(data)
filtered_df = df[df['列1'].str.contains('第二')]
filtered_df.to_csv('output.csv', index=False, encoding='utf-8')
处理大数据文件
在处理大数据文件时，可以使用chunksize参数分块读取数据，逐块处理并写入文件。例如，读取一个大CSV文件并过滤出特定行，然后写入新文件：
import pandas as pd
chunksize = 10000
with pd.read_csv('input.csv', chunksize=chunksize, encoding='utf-8') as reader:
for chunk in reader:
filtered_chunk = chunk[chunk['列1'].str.contains('特定关键词')]
filtered_chunk.to_csv('output.csv', mode='a', header=False, index=False, encoding='utf-8')
四、使用其他数据格式和库
JSON格式
对于JSON格式的数据，可以使用json模块逐行写入。首先，将数据转换为JSON字符串，然后逐行写入文件：
import json
data = [
{'列1': '第一行', '列2': '数据1', '列3': '数据2'},
{'列1': '第二行', '列2': '数据3', '列3': '数据4'},
{'列1': '第三行', '列2': '数据5', '列3': '数据6'}
]
with open('output.json', 'w', encoding='utf-8') as file:
for entry in data:
json.dump(entry, file, ensure_ascii=False)
file.write('\n')
SQLite数据库
对于关系型数据，可以使用sqlite3模块将数据逐行写入SQLite数据库。首先，连接到数据库并创建表，然后使用executemany方法逐行插入数据：
import sqlite3
data = [
('第一行', '数据1', '数据2'),
('第二行', '数据3', '数据4'),
('第三行', '数据5', '数据6')
]
conn = sqlite3.connect('output.db')
cursor = conn.cursor()
cursor.execute('''CREATE TABLE data (col1 TEXT, col2 TEXT, col3 TEXT)''')
cursor.executemany('INSERT INTO data VALUES (?, ?, ?)', data)
conn.commit()
conn.close()
HDF5格式
对于大规模科学数据，可以使用h5py模块将数据逐行写入HDF5文件。首先，创建或打开一个HDF5文件，然后创建数据集并逐行写入数据：
import h5py
import numpy as np
data = np.array([
[1, 2, 3],
[4, 5, 6],
[7, 8, 9]
])
with h5py.File('output.h5', 'w') as file:
dataset = file.create_dataset('data', data.shape, dtype='i')
for i in range(data.shape[0]):
dataset[i] = data[i]
Excel文件
对于Excel文件，可以使用openpyxl模块逐行写入数据。首先，创建或打开一个Excel工作簿和工作表，然后逐行写入数据：
from openpyxl import Workbook
data = [
['第一行', '数据1', '数据2'],
['第二行', '数据3', '数据4'],
['第三行', '数据5', '数据6']
]
wb = Workbook()
ws = wb.active
for row in data:
ws.append(row)
wb.save('output.xlsx')
总结
逐行写入数据在处理大规模数据文件时非常有用，可以避免一次性加载大量数据到内存中，提高程序的效率和稳定性。Python提供了多种方法和库来实现逐行写入数据，包括文件对象的write()方法、csv模块、pandas模块、json模块、sqlite3模块、h5py模块和openpyxl模块。根据具体的需求选择合适的方法，可以更高效地完成数据写入操作。
相关问答FAQs：
如何在Python中逐行写入文件？
在Python中，可以使用内置的open()函数以写入模式打开文件，并利用write()方法逐行写入数据。可以使用循环结构将每一行数据写入文件。例如：
with open('output.txt', 'w') as file:
for line in data_list:
file.write(line + '\n')
这种方法确保每一行数据都被单独写入，并添加换行符以保持格式。
逐行写入数据时如何处理文件的打开和关闭？
在处理文件时，使用with语句是一个最佳实践，因为它可以自动管理文件的打开和关闭。这种方式可以避免文件未关闭而导致的资源泄露问题。通过with语句，文件在代码块执行完毕后会自动关闭，无需手动调用close()方法。
在逐行写入数据时如何处理异常？
在逐行写入数据时，可能会遇到文件权限不足、路径错误等问题。可以使用try...except结构来捕获和处理这些异常。例如：
try:
with open('output.txt', 'w') as file:
for line in data_list:
file.write(line + '\n')
except IOError as e:
print(f'写入文件时发生错误: {e}')
这样可以提高代码的健壮性，并能及时捕获并处理任何潜在的错误。
