如何用python爬取图片

要用Python爬取图片，有几种常见的方法：使用requests库进行HTTP请求、使用BeautifulSoup库解析HTML、使用selenium库进行网页自动化。其中，通过requests库进行HTTP请求和BeautifulSoup库解析HTML的方式是最常见和简单的。下面详细介绍如何使用这两种方法来爬取图片。

一、使用requests库和BeautifulSoup库爬取图片

1、安装依赖库

首先，我们需要安装requests和BeautifulSoup4库。可以使用以下命令进行安装：

pip install requests pip install beautifulsoup4

2、编写爬取图片的代码

接下来，我们编写一个简单的Python脚本来爬取图片。以下是一个示例代码：

import requests
from bs4 import BeautifulSoup
import os
def download_image(url, folder_path):
    response = requests.get(url, stream=True)
    if response.status_code == 200:
        with open(os.path.join(folder_path, url.split('/')[-1]), 'wb') as file:
            for chunk in response.iter_content(1024):
                file.write(chunk)
        print(f"Downloaded: {url}")
    else:
        print(f"Failed to download: {url}")
def main():
    url = 'https://example.com'  # 需要爬取图片的网页URL
    folder_path = './images'  # 存储图片的文件夹
    if not os.path.exists(folder_path):
        os.makedirs(folder_path)
    response = requests.get(url)
    soup = BeautifulSoup(response.content, 'html.parser')
    img_tags = soup.find_all('img')
    for img in img_tags:
        img_url = img.get('src')
        if img_url.startswith('http'):
            download_image(img_url, folder_path)
        else:
            img_url = url + img_url  # 处理相对路径的情况
            download_image(img_url, folder_path)
if __name__ == "__main__":
    main()

在这个代码中，我们首先定义了一个download_image函数来下载图片，并保存到指定的文件夹中。然后在main函数中，通过requests库请求目标网页，使用BeautifulSoup解析HTML，找到所有的图片标签，并逐个下载图片。

二、使用selenium库爬取图片

有时候，网页的图片是通过JavaScript动态加载的，使用requests和BeautifulSoup可能无法获取到所有图片。这时，我们可以使用selenium库来模拟浏览器操作，获取动态加载的图片。

1、安装依赖库

首先，我们需要安装selenium库和浏览器驱动。以Chrome浏览器为例，可以使用以下命令进行安装：

pip install selenium

然后下载ChromeDriver，并将其添加到系统路径中。可以从以下链接下载对应版本的ChromeDriver：

ChromeDriver下载

2、编写爬取图片的代码

接下来，我们编写一个使用selenium库的Python脚本来爬取图片。以下是一个示例代码：

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
import os
import time
import requests
def download_image(url, folder_path):
    response = requests.get(url, stream=True)
    if response.status_code == 200:
        with open(os.path.join(folder_path, url.split('/')[-1]), 'wb') as file:
            for chunk in response.iter_content(1024):
                file.write(chunk)
        print(f"Downloaded: {url}")
    else:
        print(f"Failed to download: {url}")
def main():
    url = 'https://example.com'  # 需要爬取图片的网页URL
    folder_path = './images'  # 存储图片的文件夹
    if not os.path.exists(folder_path):
        os.makedirs(folder_path)
    # 配置ChromeDriver路径
    service = Service('path/to/chromedriver')
    driver = webdriver.Chrome(service=service)
    driver.get(url)
    time.sleep(5)  # 等待页面加载完成
    img_tags = driver.find_elements(By.TAG_NAME, 'img')
    for img in img_tags:
        img_url = img.get_attribute('src')
        download_image(img_url, folder_path)
    driver.quit()
if __name__ == "__main__":
    main()

在这个代码中，我们使用selenium库启动一个Chrome浏览器实例，访问目标网页，等待页面加载完成后，找到所有的图片标签，并逐个下载图片。

三、爬取图片的注意事项

1、尊重网站的robots.txt文件

在进行爬取操作之前，应先检查目标网站的robots.txt文件，以确定哪些部分是允许爬取的，哪些部分是禁止爬取的。遵守网站的爬取规则，以免对网站造成负担或引起法律问题。

2、设置合适的请求头和延时

为了避免被网站识别为爬虫，可以设置合适的请求头信息，使请求看起来更像是来自浏览器的正常请求。同时，设置合适的延时，避免短时间内发送大量请求，给服务器造成压力。可以使用以下方式设置请求头和延时：

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}
response = requests.get(url, headers=headers)
time.sleep(2)  # 设置延时2秒

3、处理图片的版权问题

在爬取图片时，要注意图片的版权问题。使用他人图片时，务必遵守相应的版权规定，避免侵犯版权。

四、总结

使用Python爬取图片可以通过多种方法实现，常见的方法包括使用requests库和BeautifulSoup库进行静态页面爬取，以及使用selenium库进行动态页面爬取。在进行爬取操作时，应注意尊重网站的爬取规则，设置合适的请求头和延时，处理好图片的版权问题。通过合理的爬取策略，可以高效地获取所需的图片数据。