python爬虫如何存图片

Python爬虫存图片的方法主要包括：使用requests库下载、利用BeautifulSoup解析网页、用PIL处理图片。首先，可以通过requests库获取图片的URL，然后使用requests的get方法下载图片数据并保存到本地。其次，利用BeautifulSoup库解析HTML页面，提取图片的URL信息。最后，使用PIL库对下载的图片进行处理和保存。下面我将详细展开其中一种方法——使用requests库下载图片并保存的具体步骤。

一、使用REQUESTS库下载图片

1. 准备工作和环境配置

在开始编写Python爬虫程序之前，我们需要确保已经安装了requests库。可以通过以下命令进行安装：

pip install requests

在确保安装完成后，我们就可以开始编写Python脚本来下载并保存图片。

2. 获取图片URL并下载

首先，我们需要获取目标图片的URL。在大多数情况下，这可以通过浏览器的“检查元素”功能来找到图片的直接链接。一旦我们拥有了URL，就可以使用requests库下载图片。

import requests
url = "http://example.com/image.jpg"
response = requests.get(url)
检查请求是否成功
if response.status_code == 200:
    with open("image.jpg", "wb") as file:
        file.write(response.content)
    print("图片下载成功")
else:
    print("请求失败，状态码：", response.status_code)

通过上述代码，我们可以成功下载图片并将其保存到本地。

二、利用BEAUTIFULSOUP解析网页

1. 安装和导入BeautifulSoup库

要解析HTML页面并提取图片的URL，我们需要使用BeautifulSoup库。可以通过以下命令安装：

pip install beautifulsoup4

安装完成后，我们需要在Python脚本中导入该库：

from bs4 import BeautifulSoup
import requests

2. 解析网页并提取图片URL

假设我们要从一个网页中提取所有的图片URL，可以使用BeautifulSoup来解析HTML并查找所有的<img>标签：

url = "http://example.com"
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
提取所有图片的URL
image_tags = soup.find_all('img')
urls = [img['src'] for img in image_tags]
下载每一张图片
for img_url in urls:
    # 处理相对路径
    if not img_url.startswith('http'):
        img_url = url + img_url
    img_response = requests.get(img_url)
    if img_response.status_code == 200:
        img_name = img_url.split("/")[-1]
        with open(img_name, "wb") as img_file:
            img_file.write(img_response.content)
        print(f"下载成功：{img_name}")
    else:
        print(f"下载失败：{img_url}")

通过这种方式，我们可以批量下载网页中的所有图片。

三、用PIL库处理图片

1. 安装和导入PIL库

PIL（Python Imaging Library）是一个非常强大的图像处理库。可以使用Pillow（PIL的一个派生版本）来安装：

pip install pillow

安装完成后，在Python脚本中导入：

from PIL import Image
import requests
from io import BytesIO

2. 打开、处理和保存图片

假设我们已经下载了一张图片，现在我们想对其进行简单的处理，比如调整大小或转换格式：

# 从URL下载图片并打开
url = "http://example.com/image.jpg"
response = requests.get(url)
img = Image.open(BytesIO(response.content))
处理图片（例如调整大小）
img_resized = img.resize((100, 100))
保存处理后的图片
img_resized.save("resized_image.jpg", "JPEG")
print("图片处理并保存成功")

通过PIL库，我们可以对图片进行更加复杂的处理，如旋转、剪裁、滤镜效果等。

四、处理常见问题

1. 处理请求失败或超时

在爬虫过程中，可能会遇到请求失败或超时的问题。我们可以通过设置请求超时或重试机制来解决：

try:
    response = requests.get(url, timeout=10)
    response.raise_for_status()  # 检查请求是否成功
except requests.exceptions.RequestException as e:
    print("请求失败：", e)

2. 验证图片格式

在下载图片之前，验证图片的格式可以确保我们只下载需要的图片类型：

from PIL import Image
def validate_image(url):
    try:
        img = Image.open(BytesIO(requests.get(url).content))
        img.verify()  # 验证图片
        return True
    except (IOError, SyntaxError) as e:
        print("无效图片：", e)
        return False

五、总结

在Python爬虫中存储图片是一项常见的任务。通过使用requests库下载图片、BeautifulSoup解析网页、PIL库处理图片，我们可以高效地完成这一任务。在实际应用中，我们应注意处理请求失败、验证图片格式，并根据需要对图片进行进一步处理。希望这篇文章能帮助你更好地理解如何使用Python爬虫存储图片。