python如何读取文件行记录

Python读取文件行记录的几种方式有：使用open()函数、使用with语句、使用readlines()方法、使用迭代器、使用pandas库。
其中，使用with语句和迭代器是最推荐的方式，因为它们能有效处理文件资源管理和内存占用的问题。

具体来说，使用with语句读取文件行记录的方法如下：

with open('filename.txt', 'r') as file:
    for line in file:
        print(line.strip())

这种方式不仅简洁明了，还能确保在读取文件完成后自动关闭文件，避免文件资源泄漏的问题。

一、使用open()函数

使用open()函数是读取文件最基础的方式。使用这种方法可以灵活地控制文件的打开模式（如读、写、追加等）和文件的编码格式。

file = open('filename.txt', 'r')
lines = file.readlines()
for line in lines:
    print(line.strip())
file.close()

优点：

灵活性高：可以指定文件的打开模式和编码格式。
基础性强：是文件操作的基本方法，适用于各种场景。

缺点：

资源管理不便：需要手动关闭文件，容易导致文件资源泄漏。
代码冗长：相比其他方法显得繁琐。

二、使用with语句

使用with语句可以更方便地管理文件资源，确保在读取文件完成后自动关闭文件。这种方式非常简洁、易读，是推荐的最佳实践。

with open('filename.txt', 'r') as file:
    for line in file:
        print(line.strip())

优点：

自动资源管理：确保文件在使用完毕后自动关闭，防止资源泄漏。
代码简洁：减少了手动关闭文件的代码，使代码更清晰易读。

缺点：

灵活性稍逊：虽然可以指定打开模式和编码，但对于一些复杂的文件操作可能不如open()函数灵活。

三、使用readlines()方法

readlines()方法可以一次性读取文件的所有行，并将其存储在一个列表中。这种方式适用于文件内容较小的情况。

with open('filename.txt', 'r') as file:
    lines = file.readlines()
    for line in lines:
        print(line.strip())

优点：

方便遍历：将所有行存储在列表中，便于后续的遍历操作。
代码简洁：与迭代器相比，代码更加简洁明了。

缺点：

内存占用大：对于大文件，readlines()方法可能会导致内存占用过高。
无法处理超大文件：不适用于文件内容较大的情况。

四、使用迭代器

使用文件对象本身作为迭代器，可以逐行读取文件内容，适用于处理大文件的场景。

with open('filename.txt', 'r') as file:
    for line in file:
        print(line.strip())

优点：

内存占用小：逐行读取文件内容，适用于处理大文件。
代码简洁：与readlines()方法相比，代码更加简洁明了。

缺点：

灵活性稍逊：无法一次性获取所有行，对于一些需要整体处理的操作不太适用。

五、使用pandas库

pandas库是数据分析的利器，使用pandas读取文件行记录尤其适用于处理结构化数据（如CSV文件）和大规模数据。

import pandas as pd
df = pd.read_csv('filename.csv')
for index, row in df.iterrows():
    print(row)

优点：

功能强大：pandas提供了丰富的数据操作功能，适用于复杂的数据处理任务。
高效：pandas对大规模数据的处理性能优异。

缺点：

依赖外部库：需要安装pandas库，增加了项目的依赖。
相对复杂：对于简单的文件读取任务，pandas显得有些繁琐。

六、使用CSV模块

Python内置的csv模块专门用于处理CSV文件，可以方便地读取和写入CSV文件。

import csv
with open('filename.csv', 'r') as file:
    reader = csv.reader(file)
    for row in reader:
        print(row)

优点：

专门处理CSV文件：csv模块专为CSV文件设计，功能完善。
代码简洁：简洁明了的代码结构，易于理解和维护。

缺点：

局限性：仅适用于CSV文件，无法处理其他类型的文件。
功能有限：相比pandas，csv模块的功能较为有限。

七、使用JSON模块

对于JSON文件，可以使用Python内置的json模块进行读取和写入操作。

import json
with open('filename.json', 'r') as file:
    data = json.load(file)
    for item in data:
        print(item)

优点：

专门处理JSON文件：json模块专为JSON文件设计，功能完善。
代码简洁：简洁明了的代码结构，易于理解和维护。

缺点：

局限性：仅适用于JSON文件，无法处理其他类型的文件。
数据结构复杂：对于复杂的JSON数据结构，处理起来可能比较麻烦。

八、使用XML模块

对于XML文件，可以使用Python内置的xml.etree.ElementTree模块进行读取和解析。

import xml.etree.ElementTree as ET
tree = ET.parse('filename.xml')
root = tree.getroot()
for child in root:
    print(child.tag, child.attrib)

优点：

专门处理XML文件：xml.etree.ElementTree模块专为XML文件设计，功能完善。
代码简洁：简洁明了的代码结构，易于理解和维护。

缺点：

局限性：仅适用于XML文件，无法处理其他类型的文件。
数据结构复杂：对于复杂的XML数据结构，处理起来可能比较麻烦。

九、使用configparser模块

对于配置文件（如INI文件），可以使用Python内置的configparser模块进行读取和写入操作。

import configparser
config = configparser.ConfigParser()
config.read('filename.ini')
for section in config.sections():
    print(section)
    for key in config[section]:
        print(key, config[section][key])

优点：

专门处理配置文件：configparser模块专为配置文件设计，功能完善。
代码简洁：简洁明了的代码结构，易于理解和维护。

缺点：

局限性：仅适用于配置文件，无法处理其他类型的文件。
数据结构复杂：对于复杂的配置文件结构，处理起来可能比较麻烦。

十、使用h5py模块

对于HDF5文件，可以使用Python的h5py库进行读取和写入操作。HDF5是一种用于存储和管理大规模数据的文件格式。

import h5py
with h5py.File('filename.h5', 'r') as file:
    for key in file.keys():
        print(key, file[key])

优点：

专门处理HDF5文件：h5py库专为HDF5文件设计，功能完善。
高效：适用于大规模数据的存储和管理。

缺点：

依赖外部库：需要安装h5py库，增加了项目的依赖。
相对复杂：对于简单的文件读取任务，h5py显得有些繁琐。

十一、使用sqlite3模块

对于SQLite数据库文件，可以使用Python内置的sqlite3模块进行读取和写入操作。

import sqlite3
conn = sqlite3.connect('filename.db')
cursor = conn.cursor()
cursor.execute('SELECT * FROM tablename')
rows = cursor.fetchall()
for row in rows:
    print(row)
conn.close()

优点：

专门处理SQLite数据库文件：sqlite3模块专为SQLite数据库设计，功能完善。
高效：适用于SQLite数据库的读取和写入操作。

缺点：

局限性：仅适用于SQLite数据库文件，无法处理其他类型的文件。
相对复杂：对于简单的文件读取任务，sqlite3显得有些繁琐。

十二、使用tarfile模块

对于压缩文件（如TAR文件），可以使用Python内置的tarfile模块进行读取和写入操作。

import tarfile
with tarfile.open('filename.tar', 'r') as file:
    for member in file.getmembers():
        print(member.name)

优点：

专门处理压缩文件：tarfile模块专为压缩文件设计，功能完善。
代码简洁：简洁明了的代码结构，易于理解和维护。

缺点：

局限性：仅适用于压缩文件，无法处理其他类型的文件。
相对复杂：对于简单的文件读取任务，tarfile显得有些繁琐。

十三、使用zipfile模块

对于ZIP压缩文件，可以使用Python内置的zipfile模块进行读取和写入操作。

import zipfile
with zipfile.ZipFile('filename.zip', 'r') as file:
    for name in file.namelist():
        print(name)

优点：

专门处理ZIP压缩文件：zipfile模块专为ZIP压缩文件设计，功能完善。
代码简洁：简洁明了的代码结构，易于理解和维护。

缺点：

局限性：仅适用于ZIP压缩文件，无法处理其他类型的文件。
相对复杂：对于简单的文件读取任务，zipfile显得有些繁琐。

十四、使用gzip模块

对于GZIP压缩文件，可以使用Python内置的gzip模块进行读取和写入操作。

import gzip
with gzip.open('filename.gz', 'rt') as file:
    for line in file:
        print(line.strip())

优点：

专门处理GZIP压缩文件：gzip模块专为GZIP压缩文件设计，功能完善。
代码简洁：简洁明了的代码结构，易于理解和维护。

缺点：

局限性：仅适用于GZIP压缩文件，无法处理其他类型的文件。
相对复杂：对于简单的文件读取任务，gzip显得有些繁琐。

十五、使用bz2模块

对于BZ2压缩文件，可以使用Python内置的bz2模块进行读取和写入操作。

import bz2
with bz2.open('filename.bz2', 'rt') as file:
    for line in file:
        print(line.strip())

优点：

专门处理BZ2压缩文件：bz2模块专为BZ2压缩文件设计，功能完善。
代码简洁：简洁明了的代码结构，易于理解和维护。

缺点：

局限性：仅适用于BZ2压缩文件，无法处理其他类型的文件。
相对复杂：对于简单的文件读取任务，bz2显得有些繁琐。

十六、使用lzma模块

对于LZMA压缩文件，可以使用Python内置的lzma模块进行读取和写入操作。

import lzma
with lzma.open('filename.xz', 'rt') as file:
    for line in file:
        print(line.strip())

优点：

专门处理LZMA压缩文件：lzma模块专为LZMA压缩文件设计，功能完善。
代码简洁：简洁明了的代码结构，易于理解和维护。

缺点：

局限性：仅适用于LZMA压缩文件，无法处理其他类型的文件。
相对复杂：对于简单的文件读取任务，lzma显得有些繁琐。

十七、使用pyexcel模块

对于Excel文件，可以使用Python的pyexcel库进行读取和写入操作。

import pyexcel
data = pyexcel.get_records(file_name='filename.xlsx')
for record in data:
    print(record)

优点：

专门处理Excel文件：pyexcel库专为Excel文件设计，功能完善。
代码简洁：简洁明了的代码结构，易于理解和维护。

缺点：

依赖外部库：需要安装pyexcel库，增加了项目的依赖。
相对复杂：对于简单的文件读取任务，pyexcel显得有些繁琐。

十八、使用openpyxl模块

对于Excel文件，可以使用Python的openpyxl库进行读取和写入操作。

import openpyxl
wb = openpyxl.load_workbook('filename.xlsx')
sheet = wb.active
for row in sheet.iter_rows(values_only=True):
    print(row)

优点：

专门处理Excel文件：openpyxl库专为Excel文件设计，功能完善。
代码简洁：简洁明了的代码结构，易于理解和维护。

缺点：

依赖外部库：需要安装openpyxl库，增加了项目的依赖。
相对复杂：对于简单的文件读取任务，openpyxl显得有些繁琐。

十九、使用xlrd模块

对于Excel文件，可以使用Python的xlrd库进行读取操作。需要注意的是，xlrd库仅支持读取Excel 97-2003格式（.xls）文件。

import xlrd
workbook = xlrd.open_workbook('filename.xls')
sheet = workbook.sheet_by_index(0)
for row_idx in range(sheet.nrows):
    print(sheet.row(row_idx))

优点：

专门处理Excel文件：xlrd库专为Excel文件设计，功能完善。
代码简洁：简洁明了的代码结构，易于理解和维护。

缺点：

依赖外部库：需要安装xlrd库，增加了项目的依赖。
格式局限：仅支持读取Excel 97-2003格式（.xls）文件。

二十、使用xlwt模块

对于Excel文件，可以使用Python的xlwt库进行写入操作。需要注意的是，xlwt库仅支持写入Excel 97-2003格式（.xls）文件。

import xlwt
workbook = xlwt.Workbook()
sheet = workbook.add_sheet('Sheet1')
data = ['Name', 'Age', 'Gender']
for col_idx, value in enumerate(data):
    sheet.write(0, col_idx, value)
workbook.save('filename.xls')

优点：

专门处理Excel文件：xlwt库专为Excel文件设计，功能完善。
代码简洁：简洁明了的代码结构，易于理解和维护。

缺点：

依赖外部库：需要安装xlwt库，增加了项目的依赖。
格式局限：仅支持写入Excel 97-2003格式（.xls）文件。

二十一、使用xlutils模块

对于Excel文件，可以使用Python的xlutils库进行读写操作。需要注意的是，xlutils库需要结合xlrd和xlwt库一起使用。

import xlrd
from xlutils.copy import copy
workbook = xlrd.open_workbook('filename.xls')
writable_workbook = copy(workbook)
sheet = writable_workbook.get_sheet(0)
sheet.write(0, 0, 'New Data')
writable_workbook.save('filename.xls')

优点：