如何用python爬取mm131图片

如何用python爬取mm131图片

要用Python爬取mm131图片，主要步骤包括：分析网页结构、发送请求获取网页源代码、解析源代码提取图片链接、下载并保存图片。以下我们详细解释每一步，并提供相关代码示例。

一、分析网页结构

在爬取mm131图片之前，首先需要了解网页的结构。可以使用浏览器的开发者工具（F12）查看网页的HTML源码，找到图片的实际URL。

打开mm131网站，找到你感兴趣的图片页面。
右键点击图片，选择“检查”或按F12打开开发者工具。
在“元素”选项卡中，找到图片的标签（通常是<img>标签），查看其src属性，这就是图片的URL。

二、发送请求获取网页源代码

使用Python的requests库发送HTTP请求，获取网页源代码。requests库是一个简单易用的HTTP库，适合初学者。

import requests
url = 'http://www.mm131.com/xinggan/5296.html'  # 示例URL
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'}
response = requests.get(url, headers=headers)
html = response.text

三、解析源代码提取图片链接

使用BeautifulSoup解析HTML源代码，并提取图片的URL。BeautifulSoup是一个功能强大的HTML和XML解析库。

from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'html.parser')
image_tags = soup.find_all('img')
image_urls = []
for img in image_tags:
    if 'src' in img.attrs:
        image_urls.append(img['src'])

四、下载并保存图片

使用requests库下载图片，并将其保存到本地。

import os
if not os.path.exists('images'):
    os.makedirs('images')
for i, url in enumerate(image_urls):
    response = requests.get(url)
    with open(f'images/{i}.jpg', 'wb') as f:
        f.write(response.content)

五、处理多页图片

有些图片可能分布在多个页面上，我们需要处理分页逻辑。可以通过观察URL的变化模式，推断出分页的规律。

import re
def get_image_urls(url):
    response = requests.get(url, headers=headers)
    soup = BeautifulSoup(response.text, 'html.parser')
    image_tags = soup.find_all('img')
    image_urls = []
    for img in image_tags:
        if 'src' in img.attrs:
            image_urls.append(img['src'])
    return image_urls
base_url = 'http://www.mm131.com/xinggan/5296_{}.html'
all_image_urls = []
假设有10页图片
for i in range(1, 11):
    url = base_url.format(i)
    all_image_urls.extend(get_image_urls(url))
if not os.path.exists('images'):
    os.makedirs('images')
for i, url in enumerate(all_image_urls):
    response = requests.get(url)
    with open(f'images/{i}.jpg', 'wb') as f:
        f.write(response.content)

六、应对反爬机制

为了避免被网站的反爬机制屏蔽，可以采取以下措施：

设置请求头：模拟浏览器请求，避免被识别为爬虫。
设置延时：在每次请求之间设置随机的延时，避免频繁访问触发反爬机制。
使用代理：通过使用代理IP轮换，避免同一IP频繁访问被封禁。

import time
import random
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'}
def get_image_urls(url):
    response = requests.get(url, headers=headers)
    soup = BeautifulSoup(response.text, 'html.parser')
    image_tags = soup.find_all('img')
    image_urls = []
    for img in image_tags:
        if 'src' in img.attrs:
            image_urls.append(img['src'])
    return image_urls
base_url = 'http://www.mm131.com/xinggan/5296_{}.html'
all_image_urls = []
假设有10页图片
for i in range(1, 11):
    url = base_url.format(i)
    all_image_urls.extend(get_image_urls(url))
    time.sleep(random.uniform(1, 3))  # 随机延时1到3秒
if not os.path.exists('images'):
    os.makedirs('images')
for i, url in enumerate(all_image_urls):
    response = requests.get(url)
    with open(f'images/{i}.jpg', 'wb') as f:
        f.write(response.content)
    time.sleep(random.uniform(1, 3))  # 随机延时1到3秒