python 爬虫如何翻页

一、Python爬虫翻页的基本方法

Python爬虫实现翻页的基本方法包括解析网页结构、找到翻页链接、利用循环或递归请求多个页面。其中，解析网页结构是关键，因为需要了解网站如何组织翻页。找到翻页链接后，可以通过调整请求参数或者直接构建新的URL来获取下一页数据。这里重点介绍通过调整请求参数的方法。

解析网页结构时，可以使用开发者工具查看网页源代码，寻找分页部分的HTML标签，通常是位于<nav>、<ul>、<li>等标签中。找到翻页链接后，观察其URL结构，找出页码或其他参数的变化规律。接下来，编写爬虫程序时，将这些参数放入循环或递归中，实现对多页数据的请求和抓取。

二、解析网页结构

在进行翻页爬虫之前，首先要解析网页的结构，找到翻页的部分。使用浏览器的开发者工具是一个很好的方法。通过查看页面源代码，可以找到翻页按钮所在的HTML标签，通常这些标签会包含关键的分页信息，比如“下一页”按钮的链接或页码参数。

举例来说，如果在网页的分页部分看到类似于以下的HTML结构：

<nav>
  <ul>
    <li><a href="?page=1">1</a></li>
    <li><a href="?page=2">2</a></li>
    <li><a href="?page=3">3</a></li>
    <li><a href="?page=4" rel="next">Next</a></li>
  </ul>
</nav>

可以看出，这个分页系统是通过URL参数?page=来区分不同的页面。在编写爬虫时，就可以利用这个参数来请求不同的页面。

三、构建翻页逻辑

在解析出翻页的URL结构后，下一步是构建翻页的逻辑。一般来说有两种常用的翻页方法：循环和递归。

循环方法

循环方法适用于明确知道页码范围的情况。可以通过一个循环来遍历所有页码，将请求发送到每一页，直到到达最后一页。例如：

import requests
from bs4 import BeautifulSoup
base_url = "http://example.com/page"
for page_num in range(1, 11):  # 假设有10页
    url = f"{base_url}?page={page_num}"
    response = requests.get(url)
    soup = BeautifulSoup(response.content, 'html.parser')
    # 处理每一页的内容

递归方法

递归方法适用于页码不确定或者需要动态判断是否存在下一页的情况。递归方法的核心是在处理当前页的同时，检查是否存在“下一页”按钮，若存在则递归调用自身处理下一页。

def fetch_page(url):
    response = requests.get(url)
    soup = BeautifulSoup(response.content, 'html.parser')
    # 处理当前页的内容
    # 查找下一页链接
    next_page = soup.find('a', {'rel': 'next'})
    if next_page:
        next_url = next_page['href']
        fetch_page(next_url)
start_url = "http://example.com/page?page=1"
fetch_page(start_url)

四、处理动态网页翻页

有些网站使用JavaScript动态加载内容，这种情况下传统的requests库可能无法获取完整的HTML。这时可以使用Selenium等工具模拟浏览器行为，从而获取动态加载的内容。

使用Selenium

Selenium可以模拟用户操作，包括点击“下一页”按钮，等待页面加载完成后抓取页面内容。如下是一个简单的例子：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
import time
driver = webdriver.Chrome()
driver.get("http://example.com/page?page=1")
while True:
    # 处理当前页的内容
    # ...
    try:
        next_button = driver.find_element(By.LINK_TEXT, "Next")
        next_button.click()
        time.sleep(2)  # 等待页面加载完成
    except Exception as e:
        print("No more pages or error:", e)
        break
driver.quit()