python爬虫如何保存进度

在Python爬虫中保存进度的关键在于：利用持久化存储（如数据库、文件），记录当前爬取的状态、设置断点续爬机制、定期保存爬取的数据。持久化存储可以帮助我们在爬虫中断、异常退出时，恢复到之前的爬取状态，从而继续爬取数据。以使用数据库为例，可以将已经爬取的URL或数据存储在数据库中，并在每次爬取时检查数据库，以避免重复爬取。接下来，将详细介绍如何实现这一过程。

一、使用文件保存进度

使用文件保存爬虫的进度是一种简单且有效的方法。可以通过将已经爬取的URL或数据以文本或JSON格式存储在文件中。每次程序启动时，先读取文件中的内容，检查哪些URL已经被爬取，从而避免重复工作。

初始化与读取进度文件

在爬虫程序开始运行时，首先需要检查是否存在进度文件。如果存在，则读取文件内容，以获取已爬取的URL列表。如果文件不存在，则初始化一个空的列表。这样可以确保每次程序启动时都有最新的进度数据。
```
import os
import json
def load_progress(file_path):
    if os.path.exists(file_path):
        with open(file_path, 'r') as file:
            return json.load(file)
    return []
progress_file = 'progress.json'
crawled_urls = load_progress(progress_file)
```

定期保存进度

在爬虫运行过程中，定期将已经爬取的URL或数据追加到进度文件中。这样，即使程序意外中断，也能最大限度地保存已完成的工作。这可以通过设定一定的时间间隔或爬取一定数量的URL后进行保存。

def save_progress(crawled_urls, file_path):
    with open(file_path, 'w') as file:
        json.dump(crawled_urls, file)
在爬虫循环中，例如每爬取10个URL后保存一次
if len(crawled_urls) % 10 == 0:
    save_progress(crawled_urls, progress_file)

二、使用数据库保存进度

使用数据库保存爬虫进度对于大型爬虫项目更为合适。数据库可以提供更为灵活的数据查询和管理能力。常用的数据库包括SQLite、MySQL、MongoDB等。

数据库初始化

在开始爬取之前，初始化数据库连接，并创建必要的表结构。例如，可以创建一个表来记录已经爬取的URL及其状态。

import sqlite3
def init_db(db_name):
    conn = sqlite3.connect(db_name)
    cursor = conn.cursor()
    cursor.execute('''
        CREATE TABLE IF NOT EXISTS crawled_urls (
            url TEXT PRIMARY KEY,
            status TEXT
        )
    ''')
    conn.commit()
    return conn
db_connection = init_db('crawled_data.db')

插入与查询

在爬取过程中，向数据库插入已经爬取的URL。当程序重新启动时，可以查询数据库以获取已经爬取的URL，从而避免重复爬取。

def insert_crawled_url(conn, url):
    cursor = conn.cursor()
    cursor.execute('INSERT OR IGNORE INTO crawled_urls (url, status) VALUES (?, ?)', (url, 'crawled'))
    conn.commit()
def get_crawled_urls(conn):
    cursor = conn.cursor()
    cursor.execute('SELECT url FROM crawled_urls')
    return [row[0] for row in cursor.fetchall()]
crawled_urls = get_crawled_urls(db_connection)

三、断点续爬机制

断点续爬机制是指在爬虫中断后，可以从上次中断的位置继续爬取。这需要结合以上两种方法，通过记录当前爬取的位置和状态来实现。

记录当前爬取位置

在爬虫每次爬取一个新的页面或URL时，记录当前的进度。例如，使用一个变量保存当前爬取的页面编号或URL。
```
current_position = 0
```
恢复爬虫状态

在程序重新启动时，读取保存的进度信息，恢复爬虫状态。例如，可以从保存的文件或数据库中读取当前的爬取位置，并继续从该位置开始爬取。
```
current_position = load_saved_position()  # 从文件或数据库中读取
```
定期更新进度信息

确保在爬虫运行过程中，定期更新进度信息。这样即使程序意外中断，也能尽可能保存最新的爬取状态。
```
def update_position(position):
    # 将position保存到文件或数据库
    pass
update_position(current_position)
```

四、使用队列管理爬取任务

使用队列管理爬取任务可以更好地控制爬虫的并发性和进度保存。队列可以用来存储待爬取的URL，并在每次完成一个任务后，将其从队列中移除。

初始化队列

在爬虫开始时，初始化一个队列，并将待爬取的URL加入队列中。

from queue import Queue
url_queue = Queue()
initial_urls = ['http://example.com/page1', 'http://example.com/page2']
for url in initial_urls:
    url_queue.put(url)

队列操作

在爬虫运行过程中，从队列中获取URL进行爬取，并在完成后将其标记为已爬取。可以通过将已爬取的URL存入文件或数据库来记录进度。
```
while not url_queue.empty():
    current_url = url_queue.get()
    # 爬取 current_url
    insert_crawled_url(db_connection, current_url)
```

恢复队列状态

在程序重启时，恢复队列状态。可以通过读取保存的进度信息，将未爬取的URL重新加入队列。

crawled_urls = get_crawled_urls(db_connection)
for url in initial_urls:
    if url not in crawled_urls:
        url_queue.put(url)

五、日志记录与异常处理

日志记录与异常处理是爬虫进度保存的重要组成部分。通过记录日志，可以跟踪爬虫的运行状态和错误，从而更好地管理爬虫进度。

日志记录

使用日志记录爬虫的运行信息，包括成功爬取的URL、错误信息等。可以使用Python的logging模块来实现。

import logging
logging.basicConfig(filename='crawler.log', level=logging.INFO)
logging.info('Started crawling')
logging.error('Error occurred while crawling URL: %s', current_url)

异常处理

在爬虫中加入异常处理机制，以应对网络超时、请求失败等问题。通过捕获异常，可以在错误发生时记录日志，并继续执行其他任务。
```
try:
    # 爬取操作
    pass
except Exception as e:
    logging.error('Error occurred: %s', e)
```