python如何提取网页图片并保存本地

使用Python提取网页图片并保存本地的方法有很多，例如使用requests库、使用BeautifulSoup库、使用selenium库。其中，使用requests库和BeautifulSoup库是比较常见的方法。下面，我们将详细介绍如何使用这些库来提取网页图片并保存到本地。

一、使用requests库和BeautifulSoup库

requests库是一个简单易用的HTTP请求库，而BeautifulSoup库是一个用于解析HTML和XML文档的库。结合这两个库，我们可以轻松地提取网页中的图片。

1、安装需要的库

首先，你需要安装requests和BeautifulSoup库。你可以使用pip来安装这些库：

pip install requests pip install beautifulsoup4

2、编写代码

下面是一个示例代码，演示如何使用requests和BeautifulSoup来提取网页中的图片并保存到本地：

import requests
from bs4 import BeautifulSoup
import os
定义要爬取的网页URL
url = 'http://example.com'
发送HTTP请求，获取网页内容
response = requests.get(url)
html_content = response.content
使用BeautifulSoup解析HTML内容
soup = BeautifulSoup(html_content, 'html.parser')
查找所有的<img>标签
img_tags = soup.find_all('img')
创建一个目录来保存图片
if not os.path.exists('images'):
    os.makedirs('images')
循环遍历所有的<img>标签，提取图片URL并保存图片
for img_tag in img_tags:
    img_url = img_tag.get('src')
    if img_url:
        # 完整的图片URL
        img_url = requests.compat.urljoin(url, img_url)
        # 获取图片名称
        img_name = os.path.basename(img_url)
        # 发送HTTP请求，下载图片
        img_response = requests.get(img_url)
        # 将图片保存到本地
        with open(os.path.join('images', img_name), 'wb') as img_file:
            img_file.write(img_response.content)
print('图片下载完成')

在上面的代码中，我们首先发送了HTTP请求获取网页内容，然后使用BeautifulSoup解析HTML内容，查找所有的<img>标签，提取图片URL并保存图片到本地。

二、使用selenium库

selenium库是一个用于自动化Web浏览器操作的库，适用于需要动态加载内容的网页。

1、安装需要的库

首先，你需要安装selenium库和浏览器驱动程序（例如ChromeDriver）。你可以使用pip来安装selenium库：

pip install selenium

然后，你需要下载ChromeDriver并将其添加到系统路径中。你可以在ChromeDriver的官方网站下载相应版本的驱动程序。

2、编写代码

下面是一个示例代码，演示如何使用selenium来提取网页中的图片并保存到本地：

from selenium import webdriver
import os
import requests
定义要爬取的网页URL
url = 'http://example.com'
创建一个Chrome浏览器实例
driver = webdriver.Chrome()
访问网页
driver.get(url)
查找所有的<img>标签
img_tags = driver.find_elements_by_tag_name('img')
创建一个目录来保存图片
if not os.path.exists('images'):
    os.makedirs('images')
循环遍历所有的<img>标签，提取图片URL并保存图片
for img_tag in img_tags:
    img_url = img_tag.get_attribute('src')
    if img_url:
        # 获取图片名称
        img_name = os.path.basename(img_url)
        # 发送HTTP请求，下载图片
        img_response = requests.get(img_url)
        # 将图片保存到本地
        with open(os.path.join('images', img_name), 'wb') as img_file:
            img_file.write(img_response.content)
关闭浏览器
driver.quit()
print('图片下载完成')

在上面的代码中，我们首先创建了一个Chrome浏览器实例，然后访问网页，查找所有的<img>标签，提取图片URL并保存图片到本地。

三、处理图片URL

在实际应用中，图片URL可能是相对路径或带有查询参数的URL。我们可以使用requests.compat.urljoin函数来处理相对路径，并使用urllib.parse模块来处理查询参数。

from urllib.parse import urljoin, urlparse
处理相对路径
full_img_url = urljoin(base_url, img_url)
处理查询参数
parsed_url = urlparse(full_img_url)
img_name = os.path.basename(parsed_url.path)