python如何批量下载pdf

要批量下载PDF文件，Python提供了多种方法，其中包括使用requests库进行HTTP请求、利用BeautifulSoup进行网页解析、通过Selenium模拟浏览器行为等。利用requests库进行HTTP请求是最为常见的方法，因为它简单易用且功能强大。下面将详细介绍如何使用requests库批量下载PDF文件。

一、准备工作

在开始之前，需要确保已安装Python和相关的库。可以使用以下命令安装requests库：

pip install requests

如果需要解析网页，还需要安装BeautifulSoup库：

pip install beautifulsoup4

二、使用requests库批量下载PDF

1、基本使用方法

requests库是一个简单但功能强大的HTTP请求库，可以轻松下载文件。以下是一个基本示例，用于下载单个PDF文件：

import requests
url = 'http://example.com/sample.pdf'
response = requests.get(url)
with open('sample.pdf', 'wb') as file:
    file.write(response.content)

在这个例子中，我们首先使用requests.get()方法获取PDF文件的内容，然后将其写入本地文件。

2、批量下载PDF

要批量下载多个PDF文件，可以将所有URL存储在列表中，并使用循环进行下载：

import requests
urls = [
    'http://example.com/sample1.pdf',
    'http://example.com/sample2.pdf',
    'http://example.com/sample3.pdf'
]
for i, url in enumerate(urls):
    response = requests.get(url)
    with open(f'sample_{i+1}.pdf', 'wb') as file:
        file.write(response.content)

这种方法可以轻松地批量下载多个PDF文件。

三、使用BeautifulSoup解析网页

1、解析网页获取PDF链接

在某些情况下，PDF链接可能嵌入在网页中。此时，需要先解析网页以提取PDF链接。BeautifulSoup是一个强大的网页解析库，以下是一个示例：

import requests
from bs4 import BeautifulSoup
url = 'http://example.com/page_with_pdfs'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
pdf_links = [a['href'] for a in soup.find_all('a', href=True) if a['href'].endswith('.pdf')]

在这个例子中，我们首先使用requests获取网页内容，然后使用BeautifulSoup解析HTML，最后提取所有PDF链接。

2、结合requests批量下载

结合requests库，可以实现从网页解析并批量下载PDF：

import requests
from bs4 import BeautifulSoup
url = 'http://example.com/page_with_pdfs'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
pdf_links = [a['href'] for a in soup.find_all('a', href=True) if a['href'].endswith('.pdf')]
for i, pdf_url in enumerate(pdf_links):
    response = requests.get(pdf_url)
    with open(f'downloaded_pdf_{i+1}.pdf', 'wb') as file:
        file.write(response.content)

四、使用Selenium模拟浏览器

1、安装与配置

Selenium是一个用于自动化Web浏览器的工具，适合处理动态加载内容的网页。首先，需要安装Selenium：

pip install selenium

同时，还需要下载对应浏览器的驱动程序，如ChromeDriver或GeckoDriver，并将其路径添加到环境变量中。

2、使用Selenium获取PDF链接

以下是使用Selenium打开网页并获取PDF链接的示例：

from selenium import webdriver
driver = webdriver.Chrome()
driver.get('http://example.com/page_with_pdfs')
links = driver.find_elements_by_tag_name('a')
pdf_links = [link.get_attribute('href') for link in links if link.get_attribute('href').endswith('.pdf')]
driver.quit()

3、结合requests批量下载

结合requests库，可以实现从动态网页解析并批量下载PDF：

from selenium import webdriver
import requests
driver = webdriver.Chrome()
driver.get('http://example.com/page_with_pdfs')
links = driver.find_elements_by_tag_name('a')
pdf_links = [link.get_attribute('href') for link in links if link.get_attribute('href').endswith('.pdf')]
driver.quit()
for i, pdf_url in enumerate(pdf_links):
    response = requests.get(pdf_url)
    with open(f'downloaded_pdf_{i+1}.pdf', 'wb') as file:
        file.write(response.content)

五、处理下载错误

在批量下载过程中，可能会遇到网络错误或文件损坏等问题。可以使用异常处理来确保程序的健壮性：

import requests
urls = [
    'http://example.com/sample1.pdf',
    'http://example.com/sample2.pdf',
    'http://example.com/sample3.pdf'
]
for i, url in enumerate(urls):
    try:
        response = requests.get(url)
        response.raise_for_status()  # 检查请求是否成功
        with open(f'sample_{i+1}.pdf', 'wb') as file:
            file.write(response.content)
    except requests.exceptions.RequestException as e:
        print(f"Error downloading {url}: {e}")

通过这种方式，可以在出现错误时记录错误信息，并继续下载其他文件。

六、总结

批量下载PDF文件是一个常见的任务，Python提供了多种工具和库来完成这项工作。requests库适合直接下载文件，BeautifulSoup适合解析网页中的链接，Selenium适合处理动态内容。通过结合这些工具，可以实现功能强大且灵活的PDF批量下载程序。确保在编写代码时处理各种可能的异常，以提高代码的健壮性和可靠性。