如何用python爬PDF

使用Python爬取PDF的方法包括：请求库获取PDF文件、使用PDF解析库提取文本、处理和存储数据。 首先，使用Python中的requests库下载目标PDF文件，这需要获取正确的URL和处理HTTP请求。其次，使用PyPDF2或pdfminer等Python库解析PDF文件，提取文本或其他信息。最后，处理和存储提取的数据，可能需要将其转换为其他格式以便进一步分析。

一、使用请求库获取PDF文件

在使用Python进行网页爬虫时，requests库是一个非常流行且功能强大的工具。要爬取PDF文件，首先需要获取文件的URL，然后通过HTTP请求下载文件。

HTTP请求

在请求PDF文件之前，确保URL是正确的。使用requests.get()方法发送GET请求，获取文件的二进制内容。

import requests
url = "http://example.com/sample.pdf"
response = requests.get(url)
with open("sample.pdf", "wb") as file:
    file.write(response.content)

处理错误

在请求过程中，有可能会遇到各种HTTP错误，例如404（未找到）或500（服务器错误）。为了提高脚本的健壮性，可以在请求时检查状态码，并处理可能的异常。

if response.status_code == 200:
    with open("sample.pdf", "wb") as file:
        file.write(response.content)
else:
    print(f"Failed to retrieve PDF file: {response.status_code}")

二、使用PDF解析库提取文本

PDF文件的结构复杂，因此需要专门的库来解析和提取文本。Python中有几个常用的PDF解析库，如PyPDF2和pdfminer。

使用PyPDF2解析PDF

PyPDF2是一个纯Python的库，适用于简单的PDF解析任务。它可以读取PDF文件并提取文本。

import PyPDF2
with open("sample.pdf", "rb") as file:
    reader = PyPDF2.PdfReader(file)
    for page in reader.pages:
        text = page.extract_text()
        print(text)

使用pdfminer解析PDF

pdfminer是一个功能更强大的库，适用于复杂的PDF解析任务。它可以精确地提取文本，并提供了对PDF文件结构的更深入访问。

from pdfminer.high_level import extract_text
text = extract_text("sample.pdf")
print(text)

三、处理和存储数据

从PDF中提取文本后，可能需要进一步处理和存储这些数据，以便进行分析或存档。

数据清洗

提取的文本可能包含多余的空格、换行符或其他特殊字符。在存储之前，清洗数据以确保其格式一致。

cleaned_text = text.replace("\n", " ").strip()

数据存储

根据需求，可以将提取的文本存储到文件、数据库或其他存储系统中。

with open("output.txt", "w") as file:
    file.write(cleaned_text)

数据分析

存储后的数据可以用于各种分析任务，例如自然语言处理、数据挖掘或统计分析。

四、使用Selenium处理动态内容

有时，PDF文件是通过JavaScript动态生成的，使用requests库可能无法直接访问。这时需要使用Selenium等工具模拟浏览器行为，获取PDF文件。

安装和设置Selenium

首先安装Selenium库和浏览器驱动程序（如ChromeDriver），然后配置Selenium以模拟浏览器。

from selenium import webdriver
driver = webdriver.Chrome(executable_path='/path/to/chromedriver')
driver.get("http://example.com/page-with-pdf")

处理页面

使用Selenium的API定位和操作页面元素，触发下载PDF文件的事件。

pdf_link = driver.find_element_by_xpath("//a[@href='sample.pdf']")
pdf_link.click()

关闭浏览器

完成操作后，关闭浏览器以释放资源。

driver.quit()

五、结合OCR技术处理图片型PDF

有些PDF文件是扫描的文档，文本以图片形式存储。在这种情况下，需要结合OCR（光学字符识别）技术提取文本。

安装OCR库

Tesseract是一个流行的OCR引擎，可以与Python结合使用。安装tesseract-ocr和pytesseract库。

sudo apt install tesseract-ocr pip install pytesseract

处理PDF图片

将PDF的每一页转换为图像，并使用OCR提取文本。

from pdf2image import convert_from_path
import pytesseract
images = convert_from_path("sample.pdf")
for image in images:
    text = pytesseract.image_to_string(image)
    print(text)

六、总结与注意事项