python3爬虫如何保存数据库

Python3爬虫保存数据到数据库的方法有很多，主要包括：使用SQLite数据库、使用MySQL数据库、使用MongoDB数据库。 在这里，我们将详细介绍使用MySQL数据库的方法，因为MySQL是一个功能强大且广泛使用的关系型数据库管理系统。

一、使用MySQL数据库

MySQL是一个流行的关系型数据库管理系统，广泛应用于各种数据存储需求。通过Python中的pymysql库，我们可以轻松地将爬虫数据保存到MySQL数据库中。

1. 安装pymysql库

首先，需要安装pymysql库。可以使用以下命令进行安装：

pip install pymysql

2. 连接到MySQL数据库

然后，我们需要连接到MySQL数据库。创建一个连接对象并指定数据库的主机名、用户名、密码和数据库名称：

import pymysql
创建数据库连接
connection = pymysql.connect(
    host='localhost',       # 数据库主机地址
    user='yourusername',    # 数据库用户名
    password='yourpassword',# 数据库密码
    db='yourdatabase',      # 数据库名称
    charset='utf8mb4',      # 字符编码
    cursorclass=pymysql.cursors.DictCursor
)

3. 创建数据表

在将数据保存到数据库之前，需要创建一个数据表来存储爬取的数据。下面是一个创建数据表的示例：

try:
    with connection.cursor() as cursor:
        # 创建数据表
        sql = """
        CREATE TABLE IF NOT EXISTS `scraped_data` (
            `id` int(11) NOT NULL AUTO_INCREMENT,
            `title` varchar(255) DEFAULT NULL,
            `url` varchar(255) DEFAULT NULL,
            `content` text,
            PRIMARY KEY (`id`)
        ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
        """
        cursor.execute(sql)
    connection.commit()
finally:
    connection.close()

二、插入爬取的数据

现在我们已经创建了数据表，接下来就可以将爬取的数据插入到表中。下面是一个插入数据的示例：

import pymysql
创建数据库连接
connection = pymysql.connect(
    host='localhost',
    user='yourusername',
    password='yourpassword',
    db='yourdatabase',
    charset='utf8mb4',
    cursorclass=pymysql.cursors.DictCursor
)
def insert_data(title, url, content):
    try:
        with connection.cursor() as cursor:
            # 插入数据
            sql = "INSERT INTO `scraped_data` (`title`, `url`, `content`) VALUES (%s, %s, %s)"
            cursor.execute(sql, (title, url, content))
        connection.commit()
    finally:
        connection.close()
示例数据
title = "Example Title"
url = "http://example.com"
content = "This is an example content."
插入示例数据
insert_data(title, url, content)

三、完整的爬虫示例

下面是一个完整的爬虫示例，展示了如何将爬取的数据保存到MySQL数据库中：

import requests
from bs4 import BeautifulSoup
import pymysql
创建数据库连接
connection = pymysql.connect(
    host='localhost',
    user='yourusername',
    password='yourpassword',
    db='yourdatabase',
    charset='utf8mb4',
    cursorclass=pymysql.cursors.DictCursor
)
def create_table():
    try:
        with connection.cursor() as cursor:
            # 创建数据表
            sql = """
            CREATE TABLE IF NOT EXISTS `scraped_data` (
                `id` int(11) NOT NULL AUTO_INCREMENT,
                `title` varchar(255) DEFAULT NULL,
                `url` varchar(255) DEFAULT NULL,
                `content` text,
                PRIMARY KEY (`id`)
            ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
            """
            cursor.execute(sql)
        connection.commit()
    finally:
        connection.close()
def insert_data(title, url, content):
    try:
        with connection.cursor() as cursor:
            # 插入数据
            sql = "INSERT INTO `scraped_data` (`title`, `url`, `content`) VALUES (%s, %s, %s)"
            cursor.execute(sql, (title, url, content))
        connection.commit()
    finally:
        connection.close()
def crawl(url):
    response = requests.get(url)
    soup = BeautifulSoup(response.content, 'html.parser')
    # 示例：获取文章标题、URL和内容
    title = soup.find('h1').text
    content = soup.find('div', class_='content').text
    # 保存到数据库
    insert_data(title, url, content)
if __name__ == "__main__":
    create_table()
    url = "http://example.com"
    crawl(url)

四、使用SQLite数据库

SQLite是一种轻量级的嵌入式数据库，非常适合中小型应用。Python内置了对SQLite的支持，无需额外安装库。

1. 创建并连接到SQLite数据库

import sqlite3
创建数据库连接
connection = sqlite3.connect('scraped_data.db')
cursor = connection.cursor()

2. 创建数据表

# 创建数据表
cursor.execute('''
CREATE TABLE IF NOT EXISTS scraped_data (
    id INTEGER PRIMARY KEY AUTOINCREMENT,
    title TEXT,
    url TEXT,
    content TEXT
)
''')
connection.commit()

3. 插入数据

def insert_data(title, url, content):
    cursor.execute('''
    INSERT INTO scraped_data (title, url, content) VALUES (?, ?, ?)
    ''', (title, url, content))
    connection.commit()
示例数据
title = "Example Title"
url = "http://example.com"
content = "This is an example content."
插入示例数据
insert_data(title, url, content)

五、使用MongoDB数据库

MongoDB是一种NoSQL数据库，适合存储结构化和非结构化数据。使用Python的pymongo库可以方便地操作MongoDB。

1. 安装pymongo库

pip install pymongo

2. 连接到MongoDB数据库

from pymongo import MongoClient
创建数据库连接
client = MongoClient('localhost', 27017)
db = client['scraped_data']
collection = db['data']

3. 插入数据

def insert_data(title, url, content):
    document = {
        'title': title,
        'url': url,
        'content': content
    }
    collection.insert_one(document)
示例数据
title = "Example Title"
url = "http://example.com"
content = "This is an example content."
插入示例数据
insert_data(title, url, content)