python如何避免同一网页

避免Python程序在抓取网页时重复访问同一网页，可以使用以下几种方法：记录已访问URL、使用集合数据结构、实现URL标准化、利用持久化存储。下面将详细介绍其中一种方法：记录已访问URL。

一、记录已访问URL：

当我们进行网页抓取时，通常会在程序中维护一个已访问的URL列表或集合。每次访问新URL前，检查该URL是否已在集合中，如果在则跳过，否则将其加入集合并继续抓取。这种方法简单高效，可以有效避免重复访问同一网页。

一、使用集合数据结构

集合（Set）是一种无序且不重复的数据结构，适合用于记录已访问的URL。利用集合的数据结构，可以快速判断某个URL是否已被访问过。

import requests
from bs4 import BeautifulSoup
visited_urls = set()
def fetch_url(url):
    if url in visited_urls:
        print(f"URL {url} has already been visited.")
        return
    response = requests.get(url)
    soup = BeautifulSoup(response.content, 'html.parser')
    # Process the content here
    visited_urls.add(url)
    print(f"Visited URL: {url}")
Example usage
fetch_url('https://example.com')
fetch_url('https://example.com')  # This will be skipped

二、实现URL标准化

在记录已访问的URL时，需要注意URL可能存在不同的形式，但实际上指向同一个页面。例如，http://example.com 和 http://example.com/ 是相同的页面。为了避免这种情况，可以对URL进行标准化处理。

from urllib.parse import urlparse, urlunparse
def normalize_url(url):
    parsed_url = urlparse(url)
    normalized_url = urlunparse(parsed_url._replace(path=parsed_url.path.rstrip('/')))
    return normalized_url
Example usage
url1 = 'http://example.com'
url2 = 'http://example.com/'
print(normalize_url(url1) == normalize_url(url2))  # This will be True

三、利用持久化存储

对于大型项目或需要长时间运行的抓取任务，可以使用数据库或文件系统来持久化存储已访问的URL。这样即使程序重启，仍然可以继续避免重复访问。

使用SQLite数据库存储已访问的URL示例：

import sqlite3
Connect to SQLite database
conn = sqlite3.connect('visited_urls.db')
c = conn.cursor()
Create table
c.execute('''CREATE TABLE IF NOT EXISTS visited_urls (url TEXT PRIMARY KEY)''')
def fetch_url(url):
    normalized_url = normalize_url(url)
    c.execute('SELECT 1 FROM visited_urls WHERE url=?', (normalized_url,))
    if c.fetchone():
        print(f"URL {normalized_url} has already been visited.")
        return
    response = requests.get(normalized_url)
    soup = BeautifulSoup(response.content, 'html.parser')
    # Process the content here
    c.execute('INSERT INTO visited_urls (url) VALUES (?)', (normalized_url,))
    conn.commit()
    print(f"Visited URL: {normalized_url}")
Example usage
fetch_url('http://example.com')
fetch_url('http://example.com/')  # This will be skipped
Close the connection when done
conn.close()