python如何提取网页图片并保存本地

Python 提取网页图片并保存到本地的方法有多种，但最常用的方式是通过使用第三方库如 requests 和 BeautifulSoup 来抓取图片的 URL，然后再使用 requests 下载图片并保存到本地。以下是具体步骤：使用 requests 获取网页内容、使用 BeautifulSoup 解析 HTML 获取图片 URL、使用 requests 下载图片、保存图片到本地。下面我将详细描述这些步骤。

一、使用 requests 获取网页内容

使用 requests 库发送 HTTP 请求来获取网页内容是提取网页图片的第一步。requests 是一个非常方便的库，它可以轻松地发送 HTTP 请求并获取响应内容。

import requests
url = 'http://example.com'
response = requests.get(url)
html_content = response.content

在上述代码中，我们首先导入 requests 库，然后定义目标网页的 URL。使用 requests.get() 方法发送 GET 请求，并将响应内容存储在 html_content 变量中。

二、使用 BeautifulSoup 解析 HTML 获取图片 URL

获取网页内容后，我们需要解析 HTML 以提取所有图片的 URL。BeautifulSoup 是一个用于解析 HTML 和 XML 的库，它可以帮助我们轻松地找到网页中的特定标签。

from bs4 import BeautifulSoup
soup = BeautifulSoup(html_content, 'html.parser')
img_tags = soup.find_all('img')

在这里，我们导入 BeautifulSoup 库，并使用 BeautifulSoup 类将 HTML 内容解析为一个对象。然后，我们使用 soup.find_all('img') 方法找到所有的 <img> 标签，并将它们存储在 img_tags 列表中。

三、提取图片 URL 并下载图片

找到所有的 <img> 标签后，我们需要提取每个标签的 src 属性以获取图片的 URL。然后，我们可以使用 requests 库下载这些图片。

import os
def download_image(url, folder_path, img_name):
    response = requests.get(url)
    with open(os.path.join(folder_path, img_name), 'wb') as file:
        file.write(response.content)
folder_path = 'downloaded_images'
os.makedirs(folder_path, exist_ok=True)
for img in img_tags:
    img_url = img['src']
    img_name = img_url.split('/')[-1]
    download_image(img_url, folder_path, img_name)

在这段代码中，我们定义了一个 download_image 函数，它接受图片的 URL、文件夹路径和图片名称作为参数。该函数使用 requests.get() 方法下载图片，并将图片内容写入本地文件。

四、处理相对 URL 和其他可能的问题

在实际应用中，图片 URL 可能是相对路径而不是完整的 URL。为了处理这种情况，我们需要将相对路径转换为绝对路径。此外，还需要处理一些可能出现的问题，例如图片的 URL 为空或者无效。

from urllib.parse import urljoin
for img in img_tags:
    img_url = img.get('src')
    if not img_url:
        continue
    img_url = urljoin(url, img_url)
    img_name = img_url.split('/')[-1]
    try:
        download_image(img_url, folder_path, img_name)
    except Exception as e:
        print(f"Failed to download {img_url}: {e}")

在这里，我们使用 urljoin 函数将相对路径转换为绝对路径。我们还添加了一个检查，确保 img_url 不为空。最后，我们使用 try-except 块捕获并处理下载过程中可能出现的异常。

五、总结

通过以上步骤，我们可以使用 Python 提取网页中的图片并保存到本地。整个过程包括发送 HTTP 请求获取网页内容、解析 HTML 提取图片 URL、下载图片并保存到本地。以下是完整的代码示例：

import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin
import os
def download_image(url, folder_path, img_name):
    response = requests.get(url)
    with open(os.path.join(folder_path, img_name), 'wb') as file:
        file.write(response.content)
url = 'http://example.com'
response = requests.get(url)
html_content = response.content
soup = BeautifulSoup(html_content, 'html.parser')
img_tags = soup.find_all('img')
folder_path = 'downloaded_images'
os.makedirs(folder_path, exist_ok=True)
for img in img_tags:
    img_url = img.get('src')
    if not img_url:
        continue
    img_url = urljoin(url, img_url)
    img_name = img_url.split('/')[-1]
    try:
        download_image(img_url, folder_path, img_name)
    except Exception as e:
        print(f"Failed to download {img_url}: {e}")