python如何爬取百度图片

Python爬取百度图片的方法有：使用requests库获取网页内容、解析网页获取图片链接、下载图片保存到本地。 在这三步中，解析网页获取图片链接最为关键。下面我们将详细介绍如何使用Python爬取百度图片。

一、使用requests库获取网页内容

首先，我们需要发送HTTP请求来获取网页的HTML内容。Python的requests库非常适合这个任务。

import requests
def get_html(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
    }
    response = requests.get(url, headers=headers)
    if response.status_code == 200:
        return response.text
    else:
        return None

我们通过定义get_html函数来发送GET请求，并返回网页的HTML内容。这里设置了一个User-Agent头部信息来模拟浏览器请求。

二、解析网页获取图片链接

接下来，我们需要解析HTML内容以提取图片链接。我们可以使用BeautifulSoup库来解析HTML。

from bs4 import BeautifulSoup
def get_image_links(html):
    soup = BeautifulSoup(html, 'html.parser')
    img_tags = soup.find_all('img')
    img_urls = [img['src'] for img in img_tags if 'src' in img.attrs]
    return img_urls

在get_image_links函数中，我们使用BeautifulSoup解析HTML内容，并找到所有的<img>标签，然后提取src属性中的图片链接。

三、下载图片保存到本地

最后一步是下载图片并保存到本地。我们可以使用requests库再次发送请求来获取图片数据，并将其写入文件。

import os
def download_image(url, folder='images'):
    if not os.path.exists(folder):
        os.makedirs(folder)
    response = requests.get(url, stream=True)
    if response.status_code == 200:
        image_name = os.path.join(folder, url.split('/')[-1])
        with open(image_name, 'wb') as file:
            for chunk in response.iter_content(1024):
                file.write(chunk)
        print(f"Downloaded {url}")
    else:
        print(f"Failed to download {url}")

在download_image函数中，我们创建了一个名为images的文件夹，并将图片下载到该文件夹中。

综合示例

现在我们将所有步骤综合起来，编写一个完整的爬虫程序。

import requests
from bs4 import BeautifulSoup
import os
def get_html(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
    }
    response = requests.get(url, headers=headers)
    if response.status_code == 200:
        return response.text
    else:
        return None
def get_image_links(html):
    soup = BeautifulSoup(html, 'html.parser')
    img_tags = soup.find_all('img')
    img_urls = [img['src'] for img in img_tags if 'src' in img.attrs]
    return img_urls
def download_image(url, folder='images'):
    if not os.path.exists(folder):
        os.makedirs(folder)
    response = requests.get(url, stream=True)
    if response.status_code == 200:
        image_name = os.path.join(folder, url.split('/')[-1])
        with open(image_name, 'wb') as file:
            for chunk in response.iter_content(1024):
                file.write(chunk)
        print(f"Downloaded {url}")
    else:
        print(f"Failed to download {url}")
def main(keyword, num_images=10):
    base_url = 'https://image.baidu.com/search/index?tn=baiduimage&word='
    search_url = base_url + keyword
    html = get_html(search_url)
    if html:
        img_urls = get_image_links(html)
        for i, img_url in enumerate(img_urls):
            if i >= num_images:
                break
            download_image(img_url)
if __name__ == '__main__':
    main('puppies', 5)