python爬虫如何爬的同时存数据

Python爬虫在爬取数据的同时存储数据，可以通过多线程、多进程、异步编程、队列等技术实现。这些技术能够提升爬虫的效率、避免阻塞、提高数据存储的实时性。其中，使用队列结合多线程处理是一个常见且高效的方式。下面详细介绍如何实现这一过程。

一、基本爬虫结构

在开始之前，我们需要有一个基本的爬虫结构。Python 的 requests 和 BeautifulSoup 是常用的爬虫库，pandas 则用于数据存储。首先，我们需要一个基本的爬虫框架来爬取数据。

import requests
from bs4 import BeautifulSoup
import pandas as pd
def fetch_url(url):
    response = requests.get(url)
    if response.status_code == 200:
        return response.text
    return None
def parse_html(html):
    soup = BeautifulSoup(html, 'html.parser')
    data = []
    for item in soup.select('selector'):  # replace 'selector' with the actual selector
        data.append(item.get_text())
    return data
def save_data(data):
    df = pd.DataFrame(data, columns=['column1'])  # replace 'column1' with actual column name
    df.to_csv('data.csv', mode='a', header=False, index=False)
url = 'http://example.com'
html = fetch_url(url)
if html:
    data = parse_html(html)
    save_data(data)

二、使用队列与多线程

为了实现边爬取边存储，我们可以使用 queue.Queue 来管理任务，并结合 threading.Thread 来实现多线程处理。这样可以在一个线程中爬取数据，另一个线程中存储数据。

import threading
import queue
import time
class CrawlerThread(threading.Thread):
    def __init__(self, url_queue, data_queue):
        threading.Thread.__init__(self)
        self.url_queue = url_queue
        self.data_queue = data_queue
    def run(self):
        while True:
            url = self.url_queue.get()
            if url is None:
                break
            html = fetch_url(url)
            if html:
                data = parse_html(html)
                self.data_queue.put(data)
            self.url_queue.task_done()
class SaverThread(threading.Thread):
    def __init__(self, data_queue):
        threading.Thread.__init__(self)
        self.data_queue = data_queue
    def run(self):
        while True:
            data = self.data_queue.get()
            if data is None:
                break
            save_data(data)
            self.data_queue.task_done()
url_queue = queue.Queue()
data_queue = queue.Queue()
urls = ['http://example.com/page1', 'http://example.com/page2']  # Add your URLs here
for url in urls:
    url_queue.put(url)
crawler_threads = []
for _ in range(4):  # Number of crawler threads
    t = CrawlerThread(url_queue, data_queue)
    t.start()
    crawler_threads.append(t)
saver_thread = SaverThread(data_queue)
saver_thread.start()
url_queue.join()
data_queue.join()
for _ in range(4):
    url_queue.put(None)
for t in crawler_threads:
    t.join()
data_queue.put(None)
saver_thread.join()

三、使用异步编程

Python 的 asyncio 和 aiohttp 可以用于异步编程，以进一步提升爬虫效率。异步编程能够在等待 I/O 操作时切换任务，从而避免阻塞。

import asyncio
import aiohttp
import pandas as pd
async def fetch_url(session, url):
    async with session.get(url) as response:
        return await response.text()
async def parse_and_save(data_queue):
    while True:
        data = await data_queue.get()
        if data is None:
            break
        save_data(data)
        data_queue.task_done()
async def main(urls):
    data_queue = asyncio.Queue()
    async with aiohttp.ClientSession() as session:
        tasks = []
        for url in urls:
            tasks.append(fetch_url(session, url))
        htmls = await asyncio.gather(*tasks)
        for html in htmls:
            data = parse_html(html)
            await data_queue.put(data)
    await parse_and_save(data_queue)
urls = ['http://example.com/page1', 'http://example.com/page2']  # Add your URLs here
asyncio.run(main(urls))

四、数据存储与处理

在爬虫过程中，数据存储是一个重要环节。除了存储到 CSV 文件外，还可以存储到数据库（如 SQLite、MySQL、MongoDB）中，以便于后续的数据处理和分析。

1. 存储到SQLite

import sqlite3
def save_data_to_db(data):
    conn = sqlite3.connect('data.db')
    c = conn.cursor()
    c.execute('''CREATE TABLE IF NOT EXISTS data (column1 TEXT)''')
    c.executemany('INSERT INTO data VALUES (?)', data)
    conn.commit()
    conn.close()

2. 存储到MySQL

import pymysql
def save_data_to_mysql(data):
    conn = pymysql.connect(host='localhost', user='root', password='password', db='database')
    cursor = conn.cursor()
    cursor.executemany('INSERT INTO data (column1) VALUES (%s)', data)
    conn.commit()
    conn.close()

3. 存储到MongoDB

from pymongo import MongoClient
def save_data_to_mongodb(data):
    client = MongoClient('localhost', 27017)
    db = client['database']
    collection = db['data']
    collection.insert_many([{'column1': item} for item in data])
    client.close()

五、数据清洗与分析

在数据爬取和存储完成后，数据清洗与分析是不可或缺的步骤。通过数据清洗，去除噪音和错误数据，保证数据的质量；而数据分析则能从数据中提取有价值的信息。

1. 数据清洗

import pandas as pd
def clean_data(file_path):
    df = pd.read_csv(file_path)
    df.dropna(inplace=True)  # Remove missing values
    df.drop_duplicates(inplace=True)  # Remove duplicates
    df.to_csv('cleaned_data.csv', index=False)

2. 数据分析

import pandas as pd
def analyze_data(file_path):
    df = pd.read_csv(file_path)
    summary = df.describe()  # Get summary statistics
    print(summary)