Python爬虫脚本如何导入数据库

Python爬虫脚本导入数据库的方法包括：选择合适的数据库、安装相应的数据库驱动程序、建立数据库连接、创建表结构、处理数据并插入数据库。 其中，选择合适的数据库是一个关键步骤，可以根据项目需求选择关系型数据库如MySQL、PostgreSQL，或非关系型数据库如MongoDB。接下来，我们将详细描述如何完成这些步骤。

一、选择合适的数据库

选择合适的数据库是 Python 爬虫项目的第一步。根据数据规模、查询需求和项目复杂度，可以选择不同类型的数据库。

1. 关系型数据库

关系型数据库如 MySQL、PostgreSQL 等适用于结构化数据存储，具有强大的查询能力和事务支持。

MySQL：广泛使用的开源关系型数据库，适合中小型项目，支持丰富的 SQL 查询。
PostgreSQL：功能强大的对象关系型数据库，适合复杂查询和大规模数据存储。

2. 非关系型数据库

非关系型数据库如 MongoDB、Redis 等适用于非结构化数据存储，具有高性能和灵活的存储结构。

MongoDB：文档型数据库，适合存储 JSON 格式数据，灵活性强。
Redis：键值型数据库，适合高性能缓存和实时数据处理。

二、安装相应的数据库驱动程序

不同的数据库需要安装相应的驱动程序，以便 Python 与数据库进行交互。

1. 安装 MySQL 驱动程序

可以使用 mysql-connector-python 或 PyMySQL 来连接 MySQL 数据库。

pip install mysql-connector-python 或 pip install PyMySQL

2. 安装 PostgreSQL 驱动程序

使用 psycopg2 驱动程序来连接 PostgreSQL 数据库。

pip install psycopg2

3. 安装 MongoDB 驱动程序

使用 pymongo 驱动程序来连接 MongoDB 数据库。

pip install pymongo

三、建立数据库连接

建立数据库连接是将数据导入数据库的前提条件。以下是连接不同数据库的示例代码。

1. 连接 MySQL 数据库

import mysql.connector
connection = mysql.connector.connect(
    host='localhost',
    user='your_username',
    password='your_password',
    database='your_database'
)

2. 连接 PostgreSQL 数据库

import psycopg2
connection = psycopg2.connect(
    host='localhost',
    database='your_database',
    user='your_username',
    password='your_password'
)

3. 连接 MongoDB 数据库

from pymongo import MongoClient
client = MongoClient('mongodb://localhost:27017/')
db = client['your_database']

四、创建表结构

在导入数据之前，需要在数据库中创建相应的表结构，以便存储爬虫抓取的数据。

1. 创建 MySQL 表

cursor = connection.cursor()
create_table_query = """
CREATE TABLE IF NOT EXISTS your_table (
    id INT AUTO_INCREMENT PRIMARY KEY,
    column1 VARCHAR(255),
    column2 INT,
    column3 TEXT
)
"""
cursor.execute(create_table_query)
connection.commit()

2. 创建 PostgreSQL 表

cursor = connection.cursor()
create_table_query = """
CREATE TABLE IF NOT EXISTS your_table (
    id SERIAL PRIMARY KEY,
    column1 VARCHAR(255),
    column2 INT,
    column3 TEXT
)
"""
cursor.execute(create_table_query)
connection.commit()

3. 创建 MongoDB 集合

MongoDB 是无模式的，不需要预先定义表结构，直接插入数据即可。

五、处理数据并插入数据库

从爬虫抓取的数据中提取有用信息，并将其插入数据库中。

1. 插入数据到 MySQL 数据库

insert_query = """
INSERT INTO your_table (column1, column2, column3) VALUES (%s, %s, %s)
"""
data = ('value1', 123, 'value3')
cursor.execute(insert_query, data)
connection.commit()

2. 插入数据到 PostgreSQL 数据库

insert_query = """
INSERT INTO your_table (column1, column2, column3) VALUES (%s, %s, %s)
"""
data = ('value1', 123, 'value3')
cursor.execute(insert_query, data)
connection.commit()

3. 插入数据到 MongoDB 数据库

document = {
    'column1': 'value1',
    'column2': 123,
    'column3': 'value3'
}
db.your_collection.insert_one(document)

六、示例：完整的 Python 爬虫脚本导入数据库

下面是一个完整的示例脚本，演示如何将爬虫抓取的数据导入 MySQL 数据库。

import requests
from bs4 import BeautifulSoup
import mysql.connector
爬取数据
url = 'http://example.com'
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')
解析数据
data = []
for item in soup.select('.item'):
    column1 = item.select_one('.column1').text
    column2 = int(item.select_one('.column2').text)
    column3 = item.select_one('.column3').text
    data.append((column1, column2, column3))
连接数据库
connection = mysql.connector.connect(
    host='localhost',
    user='your_username',
    password='your_password',
    database='your_database'
)
cursor = connection.cursor()
创建表
create_table_query = """
CREATE TABLE IF NOT EXISTS your_table (
    id INT AUTO_INCREMENT PRIMARY KEY,
    column1 VARCHAR(255),
    column2 INT,
    column3 TEXT
)
"""
cursor.execute(create_table_query)
connection.commit()
插入数据
insert_query = """
INSERT INTO your_table (column1, column2, column3) VALUES (%s, %s, %s)
"""
cursor.executemany(insert_query, data)
connection.commit()
关闭连接
cursor.close()
connection.close()