python如何爬取带图片的文档

Python爬取带图片的文档，主要可以通过以下步骤：使用Requests库获取网页内容、使用BeautifulSoup解析网页、找到图片URL并下载、将图片嵌入文档中。本文将详细介绍这些步骤。

一、使用Requests库获取网页内容

在进行网页内容爬取时，首先需要获取网页的HTML源代码。Python中的requests库是一个非常流行且易于使用的HTTP库，可以用于发送HTTP请求并获取响应内容。

import requests
url = 'http://example.com'
response = requests.get(url)
if response.status_code == 200:
    html_content = response.text
else:
    print(f"Failed to retrieve content. Status code: {response.status_code}")

在上面的代码中，我们使用requests.get()方法发送了一个GET请求，并获取了网页的响应内容。如果请求成功（状态码为200），则将HTML内容存储在html_content变量中。

二、使用BeautifulSoup解析网页

获取到网页的HTML源代码后，我们需要解析这些内容，以提取我们感兴趣的数据。BeautifulSoup是一个用于解析HTML和XML文档的Python库，它提供了灵活且强大的API来提取网页中的数据。

from bs4 import BeautifulSoup
soup = BeautifulSoup(html_content, 'html.parser')

在上面的代码中，我们使用BeautifulSoup创建了一个BeautifulSoup对象，并将HTML内容传递给它。html.parser是BeautifulSoup内置的HTML解析器。

三、找到图片URL并下载

接下来，我们需要找到网页中的图片URL，并将这些图片下载到本地。通常，图片在HTML文档中是通过<img>标签引用的，我们可以使用BeautifulSoup来查找所有的<img>标签，并提取其src属性值。

import os
创建存放图片的文件夹
os.makedirs('images', exist_ok=True)
查找所有的 <img> 标签
img_tags = soup.find_all('img')
for img in img_tags:
    img_url = img.get('src')
    # 处理相对URL
    if not img_url.startswith('http'):
        img_url = url + img_url
    img_data = requests.get(img_url).content
    img_name = os.path.join('images', img_url.split('/')[-1])
    with open(img_name, 'wb') as f:
        f.write(img_data)

在上面的代码中，我们首先创建了一个名为images的文件夹来存放下载的图片。然后，我们使用soup.find_all('img')查找所有的<img>标签，并遍历这些标签以获取图片的URL。对于每个图片URL，我们发送一个GET请求来获取图片数据，并将其保存到本地文件中。

四、将图片嵌入文档中

下载图片后，我们可以使用Python的文档处理库（例如docx）将图片嵌入到文档中。

from docx import Document
from docx.shared import Inches
创建一个新的Word文档
doc = Document()
添加图片到文档中
for img in img_tags:
    img_url = img.get('src')
    img_name = os.path.join('images', img_url.split('/')[-1])
    doc.add_picture(img_name, width=Inches(2))
保存文档
doc.save('document_with_images.docx')

在上面的代码中，我们创建了一个新的Word文档，并使用doc.add_picture()方法将图片添加到文档中。width=Inches(2)指定了图片的宽度为2英寸。最后，我们将文档保存为document_with_images.docx。

五、处理反爬机制

在实际应用中，许多网站都有反爬机制，可能会阻止我们的爬虫访问其内容。以下是一些常见的反爬机制及其应对方法：

用户代理：许多网站会检查请求头中的用户代理字符串，以确定请求是否来自浏览器。我们可以在请求中添加一个常见的用户代理字符串来模拟浏览器请求。

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}
response = requests.get(url, headers=headers)

请求频率：频繁的请求可能会触发网站的防火墙。我们可以在请求之间添加随机的延迟，以避免触发反爬机制。

import time
import random
time.sleep(random.uniform(1, 3))

IP封禁：一些网站会根据IP地址限制访问频率。我们可以使用代理服务器来绕过这种限制。

proxies = {
    'http': 'http://your_proxy_ip:port',
    'https': 'https://your_proxy_ip:port',
}
response = requests.get(url, headers=headers, proxies=proxies)