python爬虫如何写入文本文件

Python爬虫可以通过多种方法将数据写入文本文件，这些方法包括使用内置的文件操作功能、利用第三方库以及处理和格式化数据。具体方法有：使用open函数、with语句、json库、csv库等。本文将详细解释这些方法，并提供示例代码。

一、使用open函数

使用Python内置的open函数可以轻松地将数据写入文本文件。通过指定文件名和模式（如'w'表示写入，'a'表示追加），我们可以将爬虫获取的数据保存到文件中。下面是一个简单的例子：

import requests
from bs4 import BeautifulSoup
爬取网页内容
url = 'http://example.com'
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')
提取数据
data = soup.get_text()
写入文件
with open('output.txt', 'w', encoding='utf-8') as file:
    file.write(data)

二、使用with语句

使用with语句可以确保文件在操作完成后自动关闭，避免出现资源泄露问题。下面是一个示例：

import requests
from bs4 import BeautifulSoup
爬取网页内容
url = 'http://example.com'
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')
提取数据
data = soup.get_text()
写入文件
with open('output.txt', 'w', encoding='utf-8') as file:
    file.write(data)

三、使用json库

如果爬取的数据是结构化的（例如字典或列表），可以使用json库将数据写入JSON格式的文本文件，这样可以更方便地进行后续处理。下面是一个示例：

import requests
from bs4 import BeautifulSoup
import json
爬取网页内容
url = 'http://example.com'
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')
提取数据
data = {'text': soup.get_text()}
写入JSON文件
with open('output.json', 'w', encoding='utf-8') as file:
    json.dump(data, file, ensure_ascii=False, indent=4)

四、使用csv库

对于表格数据，可以使用csv库将数据写入CSV格式的文本文件。下面是一个示例：

import requests
from bs4 import BeautifulSoup
import csv
爬取网页内容
url = 'http://example.com'
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')
提取数据
rows = []
for row in soup.find_all('tr'):
    cells = [cell.get_text() for cell in row.find_all('td')]
    rows.append(cells)
写入CSV文件
with open('output.csv', 'w', newline='', encoding='utf-8') as file:
    writer = csv.writer(file)
    writer.writerows(rows)

五、处理和格式化数据

在写入文件之前，通常需要对爬取的数据进行处理和格式化，以确保数据的质量和一致性。可以使用字符串处理函数、正则表达式以及其他Python库来清洗和格式化数据。下面是一个示例：

import requests
from bs4 import BeautifulSoup
import re
爬取网页内容
url = 'http://example.com'
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')
提取数据
text = soup.get_text()
清洗和格式化数据
text = re.sub(r'\s+', ' ', text)  # 去除多余的空白字符
text = text.strip()  # 去除首尾空白字符
写入文件
with open('output.txt', 'w', encoding='utf-8') as file:
    file.write(text)

六、处理大数据量

对于大数据量的爬取和写入，建议逐步写入文件，以避免内存占用过高。可以使用生成器或逐行处理的方法。下面是一个示例：

import requests
from bs4 import BeautifulSoup
爬取网页内容
url = 'http://example.com'
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')
提取数据生成器
def data_generator(soup):
    for paragraph in soup.find_all('p'):
        yield paragraph.get_text()
逐步写入文件
with open('output.txt', 'w', encoding='utf-8') as file:
    for text in data_generator(soup):
        file.write(text + '\n')

七、使用pandas库

对于复杂的数据处理，可以使用pandas库，它提供了强大的数据处理和分析功能。下面是一个示例：

import requests
from bs4 import BeautifulSoup
import pandas as pd
爬取网页内容
url = 'http://example.com'
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')
提取数据
rows = []
for row in soup.find_all('tr'):
    cells = [cell.get_text() for cell in row.find_all('td')]
    rows.append(cells)
转换为DataFrame
df = pd.DataFrame(rows)
写入CSV文件
df.to_csv('output.csv', index=False, encoding='utf-8')

八、处理异常和错误

在编写爬虫和写入文件的过程中，可能会遇到各种异常和错误，如网络问题、文件权限问题等。可以使用try-except语句来捕获和处理这些异常，确保程序的稳定性。下面是一个示例：

import requests
from bs4 import BeautifulSoup
try:
    # 爬取网页内容
    url = 'http://example.com'
    response = requests.get(url)
    response.raise_for_status()  # 检查HTTP请求是否成功
    soup = BeautifulSoup(response.content, 'html.parser')
    # 提取数据
    data = soup.get_text()
    # 写入文件
    with open('output.txt', 'w', encoding='utf-8') as file:
        file.write(data)
except requests.RequestException as e:
    print(f"网络错误: {e}")
except IOError as e:
    print(f"文件写入错误: {e}")