如何利用python爬取百度图片

利用Python爬取百度图片的方法包括：使用requests库发送HTTP请求、解析网页内容、提取图片URL、下载图片文件。首先，我们需要安装所需的库，并通过分析网页结构来编写爬虫脚本。

一、使用requests库发送HTTP请求

requests库是Python中用于发送HTTP请求的常用库。通过requests库，我们可以方便地向百度图片发送请求并获取网页内容。

import requests
url = 'https://image.baidu.com/'
response = requests.get(url)
print(response.content)

上述代码通过requests.get()方法向百度图片主页发送GET请求，并将响应内容打印出来。

二、解析网页内容

网页内容通常是HTML格式的，我们需要解析HTML内容以提取所需的信息。为此，我们可以使用BeautifulSoup库。

from bs4 import BeautifulSoup
soup = BeautifulSoup(response.content, 'html.parser')
print(soup.prettify())

通过BeautifulSoup解析网页内容，并使用prettify()方法打印出格式化后的HTML结构，便于观察和分析。

三、提取图片URL

在百度图片搜索结果页面中，图片的URL通常存储在img标签的src属性中。我们可以使用BeautifulSoup查找所有img标签，并提取src属性。

images = soup.find_all('img')
for img in images:
    print(img['src'])

上述代码通过find_all()方法查找所有img标签，并遍历这些标签，打印出每个img标签的src属性值。

四、下载图片文件

提取到图片URL后，我们可以使用requests库下载图片文件，并将其保存到本地。

import os
创建保存图片的文件夹
if not os.path.exists('images'):
    os.makedirs('images')
for i, img in enumerate(images):
    img_url = img['src']
    img_response = requests.get(img_url)
    img_name = f'images/{i}.jpg'
    with open(img_name, 'wb') as f:
        f.write(img_response.content)

上述代码通过enumerate()函数遍历所有img标签，并为每个图片URL发送GET请求，将响应内容保存为图片文件。

五、处理防爬机制

百度图片具有一定的防爬机制，直接访问可能会被拒绝。为此，我们需要模拟浏览器行为，添加请求头信息。

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)

通过添加User-Agent头信息，我们可以伪装成浏览器，降低被拒绝访问的概率。

六、处理分页

百度图片搜索结果通常分为多个分页，我们需要处理分页逻辑，获取所有搜索结果。

page_num = 0
while True:
    url = f'https://image.baidu.com/search/index?tn=baiduimage&word=keyword&pn={page_num*30}'
    response = requests.get(url, headers=headers)
    soup = BeautifulSoup(response.content, 'html.parser')
    images = soup.find_all('img')
    if not images:
        break
    for i, img in enumerate(images):
        img_url = img['src']
        img_response = requests.get(img_url)
        img_name = f'images/{page_num*30+i}.jpg'
        with open(img_name, 'wb') as f:
            f.write(img_response.content)
    page_num += 1

上述代码通过循环处理分页逻辑，构造分页URL，发送请求并下载图片。

七、处理图片URL的完整性

有时，img标签的src属性值并不包含完整的URL。我们需要根据实际情况拼接完整的URL。

from urllib.parse import urljoin
for i, img in enumerate(images):
    img_url = urljoin('https://image.baidu.com/', img['src'])
    img_response = requests.get(img_url)
    img_name = f'images/{page_num*30+i}.jpg'
    with open(img_name, 'wb') as f:
        f.write(img_response.content)

通过urljoin()函数拼接完整的图片URL，确保能够正确下载图片文件。

八、设置请求间隔

为了避免频繁请求被封禁，我们可以设置请求间隔，模拟人类行为。

import time
for i, img in enumerate(images):
    img_url = urljoin('https://image.baidu.com/', img['src'])
    img_response = requests.get(img_url)
    img_name = f'images/{page_num*30+i}.jpg'
    with open(img_name, 'wb') as f:
        f.write(img_response.content)
    time.sleep(1)

通过time.sleep()函数设置请求间隔，避免频繁请求被封禁。

九、处理图片下载失败

在下载图片过程中，可能会遇到各种异常情况。我们需要处理这些异常，确保程序能够继续运行。

for i, img in enumerate(images):
    try:
        img_url = urljoin('https://image.baidu.com/', img['src'])
        img_response = requests.get(img_url)
        img_name = f'images/{page_num*30+i}.jpg'
        with open(img_name, 'wb') as f:
            f.write(img_response.content)
    except Exception as e:
        print(f'Failed to download image {i}: {e}')
    time.sleep(1)

通过try-except语句处理异常情况，确保程序能够继续运行，并打印出错误信息。

十、总结

通过上述步骤，我们可以利用Python爬取百度图片。首先，使用requests库发送HTTP请求获取网页内容；然后，使用BeautifulSoup解析网页内容并提取图片URL；接着，下载图片文件并保存到本地；最后，处理防爬机制、分页逻辑、图片URL的完整性、请求间隔和下载失败情况，确保程序能够稳定运行。希望通过这篇文章，大家能够掌握利用Python爬取百度图片的基本方法。