如何通过python爬虫图片

要通过Python爬取图片，可以使用requests库进行HTTP请求、利用BeautifulSoup解析HTML、通过正则表达式提取图片URL、使用os库保存图片到本地。下面将详细介绍如何实现这些步骤，并给出一些有用的技巧和注意事项。

一、安装必要的库

在开始编写代码之前，确保你的环境中安装了需要的Python库。最常用的库包括requests、BeautifulSoup和lxml。你可以通过以下命令安装它们：

pip install requests pip install beautifulsoup4 pip install lxml

二、发送HTTP请求

使用requests库发送HTTP请求是爬虫的第一步。你需要访问目标网站，获取网页的HTML内容。以下是一个简单的例子：

import requests
url = 'https://example.com'
response = requests.get(url)
if response.status_code == 200:
    html_content = response.text
else:
    print(f"Failed to retrieve the page. Status code: {response.status_code}")

在这个代码片段中，我们发送了一个GET请求，并检查响应的状态码。如果状态码是200，表示请求成功，然后我们提取网页的HTML内容。

三、解析HTML内容

一旦获取了HTML内容，就需要解析它，以便提取我们需要的信息。在这个例子中，我们主要是寻找图片URL。我们将使用BeautifulSoup库来解析HTML。

from bs4 import BeautifulSoup
soup = BeautifulSoup(html_content, 'lxml')

通过BeautifulSoup，我们可以轻松地遍历HTML文档树，寻找特定的标签和属性。

四、提取图片URL

网站上的图片通常存储在<img>标签的src属性中。我们可以遍历所有的<img>标签并提取其src属性。

images = soup.find_all('img')
image_urls = [img['src'] for img in images if 'src' in img.attrs]
如果图片URL是相对路径，需要将其转换为绝对路径
from urllib.parse import urljoin
image_urls = [urljoin(url, img_url) for img_url in image_urls]

在这个步骤中，我们提取了所有<img>标签的src属性，并将其存储在一个列表中。注意，有时候src是相对路径，因此我们需要使用urljoin函数将其转换为绝对路径。

五、下载图片

获得图片URL后，我们需要下载并保存图片。可以使用requests库的get方法来下载每张图片，并将其保存到本地文件系统。

import os
save_dir = 'images'
os.makedirs(save_dir, exist_ok=True)
for idx, img_url in enumerate(image_urls):
    try:
        img_data = requests.get(img_url).content
        with open(os.path.join(save_dir, f'image_{idx}.jpg'), 'wb') as handler:
            handler.write(img_data)
        print(f"Image {idx} downloaded successfully.")
    except Exception as e:
        print(f"Failed to download image {idx}. Error: {e}")

在这个代码片段中，我们循环遍历每个图片URL，下载图片数据，并将其写入一个文件中。我们使用os.makedirs函数创建保存图片的目录，并确保其存在。

六、处理反爬虫机制

许多网站为了防止爬虫，设置了反爬虫机制。常见的反爬虫策略包括检查User-Agent、使用CAPTCHA、限制请求频率等。以下是几种常用的应对策略：

设置User-Agent：有些网站会检查请求的User-Agent头部，以判断请求是否来自浏览器。我们可以在请求头中伪装成浏览器：

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}
response = requests.get(url, headers=headers)

添加请求延迟：为了避免触发网站的反爬虫机制，可以在请求之间添加延迟：

import time
for img_url in image_urls:
    # 下载图片
    time.sleep(2)  # 延迟2秒

使用代理：如果网站限制了IP请求频率，可以通过代理IP池来分散请求：

proxies = {
    'http': 'http://10.10.1.10:3128',
    'https': 'http://10.10.1.10:1080',
}
response = requests.get(url, headers=headers, proxies=proxies)

七、处理图片格式

在下载图片时，我们可能会遇到不同格式的图片，如JPEG、PNG、GIF等。在保存图片时，我们可以根据图片的URL后缀来判断图片的格式，并相应地设置文件名的后缀。

for idx, img_url in enumerate(image_urls):
    try:
        img_data = requests.get(img_url).content
        file_extension = img_url.split('.')[-1]  # 获取图片格式
        with open(os.path.join(save_dir, f'image_{idx}.{file_extension}'), 'wb') as handler:
            handler.write(img_data)
    except Exception as e:
        print(f"Failed to download image {idx}. Error: {e}")

八、处理图片存储异常

在下载和存储图片的过程中，可能会遇到一些异常情况，比如网络不稳定、存储路径错误等。我们可以使用异常处理机制来捕获这些异常，并进行相应的处理。

for idx, img_url in enumerate(image_urls):
    try:
        img_data = requests.get(img_url, timeout=10).content  # 设置超时时间
        file_extension = img_url.split('.')[-1]
        with open(os.path.join(save_dir, f'image_{idx}.{file_extension}'), 'wb') as handler:
            handler.write(img_data)
    except requests.exceptions.Timeout:
        print(f"Timeout occurred when downloading image {idx}.")
    except requests.exceptions.RequestException as e:
        print(f"Error occurred: {e}")
    except IOError as e:
        print(f"I/O error occurred: {e}")