如何用python爬取网页的图片

用Python爬取网页的图片可以通过以下几个步骤实现：引入必要的库、发送HTTP请求、解析HTML内容、提取图片URL、下载图片。通过Python的requests库发送HTTP请求获取网页内容，使用BeautifulSoup解析HTML，提取所有图片标签中的src属性，然后使用requests库下载图片并保存到本地。下面将详细描述如何实现这些步骤。

一、引入必要的库

在开始之前，我们需要安装和引入一些必要的Python库。主要的库包括requests、BeautifulSoup和os。requests库用于发送HTTP请求，BeautifulSoup用于解析HTML，而os库用于处理文件和目录操作。

import requests
from bs4 import BeautifulSoup
import os

二、发送HTTP请求

首先，我们需要发送一个HTTP请求到目标网页，以获取网页的HTML内容。可以使用requests库的get方法来完成这一操作。

url = 'http://example.com'  # 目标网页的URL
response = requests.get(url)
if response.status_code == 200:
    html_content = response.text
else:
    print('Failed to retrieve the webpage.')

这里我们检查HTTP响应的状态码，如果状态码为200，表示请求成功，我们可以获取网页的HTML内容。

三、解析HTML内容

获取到网页的HTML内容后，我们需要使用BeautifulSoup库来解析HTML。BeautifulSoup是一个强大的HTML解析库，可以轻松地从HTML文档中提取数据。

soup = BeautifulSoup(html_content, 'html.parser')

四、提取图片URL

使用BeautifulSoup解析HTML后，我们可以轻松地提取所有图片标签中的src属性，这些属性包含了图片的URL。

img_tags = soup.find_all('img')
img_urls = [img['src'] for img in img_tags if 'src' in img.attrs]

这里我们使用find_all方法查找所有的img标签，并使用列表推导式提取每个img标签的src属性。

五、下载图片

提取到图片的URL后，我们可以使用requests库下载图片并保存到本地。首先，我们需要创建一个目录来存放下载的图片。

os.makedirs('downloaded_images', exist_ok=True)

接着，我们遍历所有的图片URL，下载每一张图片并保存到本地。

for i, img_url in enumerate(img_urls):
    img_response = requests.get(img_url)
    if img_response.status_code == 200:
        with open(f'downloaded_images/image_{i}.jpg', 'wb') as f:
            f.write(img_response.content)
    else:
        print(f'Failed to download image {img_url}')

六、完整代码

将上述所有步骤整合在一起，形成一个完整的Python脚本。

import requests
from bs4 import BeautifulSoup
import os
目标网页的URL
url = 'http://example.com'
发送HTTP请求
response = requests.get(url)
if response.status_code == 200:
    html_content = response.text
else:
    print('Failed to retrieve the webpage.')
    exit()
解析HTML内容
soup = BeautifulSoup(html_content, 'html.parser')
提取图片URL
img_tags = soup.find_all('img')
img_urls = [img['src'] for img in img_tags if 'src' in img.attrs]
创建目录
os.makedirs('downloaded_images', exist_ok=True)
下载图片
for i, img_url in enumerate(img_urls):
    img_response = requests.get(img_url)
    if img_response.status_code == 200:
        with open(f'downloaded_images/image_{i}.jpg', 'wb') as f:
            f.write(img_response.content)
    else:
        print(f'Failed to download image {img_url}')

七、处理相对路径

在上述代码中，我们假设所有的图片URL都是绝对路径。然而，在实际情况下，许多网页中的图片URL是相对路径。我们需要将相对路径转换为绝对路径。

from urllib.parse import urljoin
img_urls = [urljoin(url, img['src']) for img in img_tags if 'src' in img.attrs]

八、添加异常处理

在实际应用中，网络请求和文件操作可能会遇到各种异常情况。为了使程序更稳健，我们可以添加异常处理。

for i, img_url in enumerate(img_urls):
    try:
        img_response = requests.get(img_url)
        img_response.raise_for_status()
        with open(f'downloaded_images/image_{i}.jpg', 'wb') as f:
            f.write(img_response.content)
    except requests.RequestException as e:
        print(f'Failed to download image {img_url}: {e}')

九、并发下载

为了提高图片下载的效率，我们可以使用多线程或多进程来并发下载图片。可以使用concurrent.futures模块来实现这一点。

import concurrent.futures
def download_image(img_url, i):
    try:
        img_response = requests.get(img_url)
        img_response.raise_for_status()
        with open(f'downloaded_images/image_{i}.jpg', 'wb') as f:
            f.write(img_response.content)
    except requests.RequestException as e:
        print(f'Failed to download image {img_url}: {e}')
with concurrent.futures.ThreadPoolExecutor() as executor:
    executor.map(download_image, img_urls, range(len(img_urls)))