如何用python爬取考研真题

用Python爬取考研真题的步骤：了解目标网站结构、使用requests库发送HTTP请求、解析HTML内容、处理反爬虫机制、保存数据。以下将详细介绍如何使用Python爬取考研真题的方法，涵盖每个步骤的具体实现。

一、了解目标网站结构

在开始爬取数据之前，首先需要了解目标网站的结构。这包括确定真题所在的页面URL、真题内容的HTML标签以及是否存在分页等。可以使用浏览器的开发者工具（F12）查看页面的HTML结构，找到真题所在的标签和属性。

1、确定目标URL

打开考研真题所在的网站，使用浏览器查看URL。例如，假设真题在https://example.com/kaoyan/zhenti页面。

2、查看HTML结构

使用浏览器的开发者工具（F12），检查真题内容的HTML标签。例如，假设真题内容位于<div class="zhenti-content">标签内。

二、使用requests库发送HTTP请求

使用Python的requests库向目标网站发送HTTP请求，获取页面内容。requests库是一个简单易用的HTTP库，可以方便地处理GET和POST请求。

import requests
url = 'https://example.com/kaoyan/zhenti'
response = requests.get(url)
html_content = response.text

三、解析HTML内容

使用BeautifulSoup库解析HTML内容，从中提取出考研真题数据。BeautifulSoup是一个功能强大的HTML解析库，可以方便地处理HTML文档。

from bs4 import BeautifulSoup
soup = BeautifulSoup(html_content, 'html.parser')
zhenti_content = soup.find_all('div', class_='zhenti-content')
for content in zhenti_content:
    print(content.get_text())

四、处理反爬虫机制

许多网站都有反爬虫机制，例如检查User-Agent、使用验证码等。需要通过设置请求头、使用代理IP等方式来绕过这些机制。

1、设置请求头

通过设置User-Agent来模拟浏览器发送请求。

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}
response = requests.get(url, headers=headers)
html_content = response.text

2、使用代理IP

使用代理IP可以避免被封禁IP，提高爬取的成功率。

proxies = {
    'http': 'http://10.10.1.10:3128',
    'https': 'http://10.10.1.10:1080',
}
response = requests.get(url, headers=headers, proxies=proxies)
html_content = response.text

五、保存数据

将爬取到的考研真题数据保存到文件或数据库中，以便后续使用。

1、保存到文件

将数据保存到txt或csv文件中。

with open('kaoyan_zhenti.txt', 'w', encoding='utf-8') as f:
    for content in zhenti_content:
        f.write(content.get_text() + '\n')

2、保存到数据库

将数据保存到SQLite数据库中。

import sqlite3
conn = sqlite3.connect('kaoyan_zhenti.db')
c = conn.cursor()
c.execute('''CREATE TABLE IF NOT EXISTS zhenti (content TEXT)''')
for content in zhenti_content:
    c.execute("INSERT INTO zhenti (content) VALUES (?)", (content.get_text(),))
conn.commit()
conn.close()

六、处理分页

如果目标网站有分页，则需要遍历所有页码，获取每一页的内容。可以通过分析分页的URL结构，构造每一页的URL。

base_url = 'https://example.com/kaoyan/zhenti?page='
for page in range(1, 11):  # 假设有10页
    url = base_url + str(page)
    response = requests.get(url, headers=headers)
    html_content = response.text
    soup = BeautifulSoup(html_content, 'html.parser')
    zhenti_content = soup.find_all('div', class_='zhenti-content')
    with open('kaoyan_zhenti.txt', 'a', encoding='utf-8') as f:
        for content in zhenti_content:
            f.write(content.get_text() + '\n')

七、并发爬取

为了提高爬取效率，可以使用多线程或多进程并发爬取。使用threading或multiprocessing库实现并发爬取。

1、使用多线程

使用threading库实现多线程爬取。

import threading
def fetch_page(page):
    url = base_url + str(page)
    response = requests.get(url, headers=headers)
    html_content = response.text
    soup = BeautifulSoup(html_content, 'html.parser')
    zhenti_content = soup.find_all('div', class_='zhenti-content')
    with open('kaoyan_zhenti.txt', 'a', encoding='utf-8') as f:
        for content in zhenti_content:
            f.write(content.get_text() + '\n')
threads = []
for page in range(1, 11):
    t = threading.Thread(target=fetch_page, args=(page,))
    threads.append(t)
    t.start()
for t in threads:
    t.join()

2、使用多进程

使用multiprocessing库实现多进程爬取。

from multiprocessing import Pool
def fetch_page(page):
    url = base_url + str(page)
    response = requests.get(url, headers=headers)
    html_content = response.text
    soup = BeautifulSoup(html_content, 'html.parser')
    zhenti_content = soup.find_all('div', class_='zhenti-content')
    with open('kaoyan_zhenti.txt', 'a', encoding='utf-8') as f:
        for content in zhenti_content:
            f.write(content.get_text() + '\n')
if __name__ == '__main__':
    pool = Pool(processes=4)  # 创建4个进程
    pool.map(fetch_page, range(1, 11))
    pool.close()
    pool.join()

八、处理验证码

有些网站在爬取过程中会弹出验证码，阻止爬虫继续工作。可以使用打码平台或手动处理验证码。

1、使用打码平台

使用第三方打码平台（如超级鹰）自动识别验证码。

import requests
from PIL import Image
from io import BytesIO
import json
def recognize_captcha(img_url):
    response = requests.get(img_url)
    img = Image.open(BytesIO(response.content))
    img.save('captcha.jpg')
    # 使用超级鹰打码平台识别验证码
    chaojiying = Chaojiying_Client('username', 'password', 'soft_id')
    im = open('captcha.jpg', 'rb').read()
    result = chaojiying.PostPic(im, 1902)  # 1902是验证码类型
    return result['pic_str']
captcha_url = 'https://example.com/captcha'
captcha_code = recognize_captcha(captcha_url)
print('Captcha code:', captcha_code)

2、手动处理验证码

手动输入验证码，继续爬取数据。

captcha_code = input('Please enter the captcha code: ')

九、总结

使用Python爬取考研真题涉及多个步骤，包括了解目标网站结构、发送HTTP请求、解析HTML内容、处理反爬虫机制、保存数据、处理分页、并发爬取和处理验证码等。通过合理地使用requests、BeautifulSoup、threading、multiprocessing等库，可以高效地完成爬取任务。在实际操作中，还需要注意数据的合法性和网站的爬虫协议，遵守相关规定，避免对目标网站造成不必要的影响。