python爬虫如何存入文档

Python爬虫可以通过多种方式将爬取的数据存入文档，例如存入CSV、JSON、TXT文件或数据库中。选择合适的存储格式可以根据数据的特性和后续处理需求来决定。CSV文件适合存储结构化数据、JSON文件适合存储嵌套数据结构、TXT文件适合存储简单文本数据、数据库适合存储大量数据并进行复杂查询。下面将详细介绍如何使用Python将爬虫数据存入这些不同的文档格式。

一、CSV文件存储

CSV（Comma-Separated Values）是一种简单的文件格式，用于存储表格数据。Python的csv模块提供了简单的接口来读写CSV文件。

使用CSV存储数据

要将爬取的数据存入CSV文件，首先需要将数据整理成列表或字典的格式。然后使用Python的csv模块将数据写入文件。例如：

import csv
data = [
    {"name": "Alice", "age": 30},
    {"name": "Bob", "age": 25},
    {"name": "Charlie", "age": 35}
]
with open('output.csv', mode='w', newline='') as file:
    writer = csv.DictWriter(file, fieldnames=["name", "age"])
    writer.writeheader()
    for row in data:
        writer.writerow(row)

核心要点： 使用csv.DictWriter可以方便地将字典列表写入CSV文件，并指定列的顺序。

读取CSV文件

读取CSV文件同样可以使用csv模块，通过csv.DictReader可以将CSV文件的每一行转换为字典，方便后续处理。
```
import csv
with open('output.csv', mode='r', newline='') as file:
    reader = csv.DictReader(file)
    for row in reader:
        print(row)
```
核心要点： csv.DictReader能够自动将CSV文件的第一行作为字典的键，非常适合处理结构化数据。

二、JSON文件存储

JSON（JavaScript Object Notation）是一种轻量级的数据交换格式，易于人阅读和编写，同时易于机器解析和生成。

使用JSON存储数据

Python的json模块提供了简便的方法将Python对象转换为JSON格式并写入文件。例如：
```
import json
data = [
    {"name": "Alice", "age": 30},
    {"name": "Bob", "age": 25},
    {"name": "Charlie", "age": 35}
]
with open('output.json', mode='w') as file:
    json.dump(data, file, indent=4)
```
核心要点： json.dump可以将Python对象转换为JSON格式并写入文件，indent参数用于美化输出。
读取JSON文件

使用json模块可以轻松地读取JSON文件并将其转换为Python对象：
```
import json
with open('output.json', mode='r') as file:
    data = json.load(file)
    print(data)
```
核心要点： json.load可以将JSON文件内容解析为Python对象，方便后续数据处理。

三、TXT文件存储

TXT文件是一种简单的文本文件格式，适合存储非结构化的数据或简单的文本信息。

使用TXT存储数据

存储爬取的文本数据到TXT文件可以直接使用Python的文件写入操作。例如：
```
data = "This is an example of text data from a web page."
with open('output.txt', mode='w') as file:
    file.write(data)
```
核心要点： 使用简单的文件写入操作可以快速将文本数据保存到TXT文件中。
读取TXT文件

读取TXT文件同样可以使用Python的文件读取操作：
```
with open('output.txt', mode='r') as file:
    data = file.read()
    print(data)
```
核心要点： 文件读取操作简单直接，适合处理简单的文本数据。

四、数据库存储

使用数据库来存储爬虫数据可以提供更好的数据管理和查询能力。常用的数据库包括SQLite、MySQL、PostgreSQL等。

使用SQLite存储数据

SQLite是一个轻量级的关系型数据库，Python内置了对SQLite的支持，可以方便地将数据存储到SQLite数据库中。

import sqlite3
conn = sqlite3.connect('example.db')
cursor = conn.cursor()
创建表
cursor.execute('''CREATE TABLE IF NOT EXISTS people
                  (name TEXT, age INTEGER)''')
插入数据
data = [("Alice", 30), ("Bob", 25), ("Charlie", 35)]
cursor.executemany('INSERT INTO people VALUES (?, ?)', data)
conn.commit()
conn.close()

核心要点： 使用sqlite3模块可以轻松地创建数据库、表，并进行数据的插入和查询。

读取SQLite数据库

读取存储在SQLite数据库中的数据可以通过执行SQL查询来实现：

import sqlite3
conn = sqlite3.connect('example.db')
cursor = conn.cursor()
cursor.execute('SELECT * FROM people')
rows = cursor.fetchall()
for row in rows:
    print(row)
conn.close()

核心要点： 通过执行SQL查询可以灵活地获取和处理数据库中的数据。

五、选择合适的存储方式

在选择数据存储方式时，需要考虑以下因素：