Python爬取带图片的文本：使用requests库获取网页内容、使用BeautifulSoup解析HTML、提取文本和图片链接、保存图片到本地。
在爬取带图片的文本时，首先需要使用requests库获取网页的HTML内容，并利用BeautifulSoup库解析HTML文档。之后，可以提取所需的文本和图片链接，并使用Python保存图片到本地。接下来，我将详细描述如何实现这一过程。
一、获取网页内容
首先，我们需要获取网页的HTML内容。这可以使用requests库来完成。requests库是一个非常流行的HTTP库，可以方便地发送HTTP请求。以下是一个示例：
import requests
url = "http://example.com"
response = requests.get(url)
if response.status_code == 200:
html_content = response.content
else:
print("Failed to retrieve the webpage")
在这个示例中，我们使用requests.get()方法发送一个HTTP GET请求，并检查响应状态码是否为200（表示请求成功）。如果请求成功，我们将HTML内容存储在html_content变量中。
二、解析HTML内容
接下来，我们需要解析HTML内容，以提取文本和图片链接。我们可以使用BeautifulSoup库来完成这一任务。BeautifulSoup是一个非常强大的HTML解析库，可以方便地从HTML文档中提取数据。以下是一个示例：
from bs4 import BeautifulSoup
soup = BeautifulSoup(html_content, "html.parser")
提取所有段落文本
paragraphs = soup.find_all('p')
for paragraph in paragraphs:
print(paragraph.get_text())
提取所有图片链接
images = soup.find_all('img')
for image in images:
img_url = image['src']
print(img_url)
在这个示例中，我们使用BeautifulSoup来解析HTML内容，并提取所有段落文本和图片链接。soup.find_all('p')方法返回所有段落标签（<p>），而soup.find_all('img')方法返回所有图片标签（<img>）。我们可以使用get_text()方法获取段落文本，并通过image['src']属性获取图片链接。
三、保存图片到本地
一旦我们提取了图片链接，就可以使用requests库将图片下载并保存到本地。以下是一个示例：
import os
def save_image(img_url, folder):
response = requests.get(img_url, stream=True)
if response.status_code == 200:
img_name = os.path.basename(img_url)
img_path = os.path.join(folder, img_name)
with open(img_path, 'wb') as img_file:
for chunk in response.iter_content(1024):
img_file.write(chunk)
print(f"Image saved at {img_path}")
else:
print("Failed to retrieve the image")
创建保存图片的文件夹
folder = "images"
if not os.path.exists(folder):
os.makedirs(folder)
下载并保存所有图片
for image in images:
img_url = image['src']
save_image(img_url, folder)
在这个示例中，我们定义了一个save_image()函数，该函数接受图片链接和文件夹路径作为参数。我们使用requests.get()方法发送一个HTTP GET请求，并检查响应状态码是否为200（表示请求成功）。如果请求成功，我们将图片数据写入本地文件。
四、完整示例
将上述步骤整合在一起，我们可以编写一个完整的示例程序，用于爬取带图片的文本，并将图片保存到本地：
import requests
from bs4 import BeautifulSoup
import os
def save_image(img_url, folder):
response = requests.get(img_url, stream=True)
if response.status_code == 200:
img_name = os.path.basename(img_url)
img_path = os.path.join(folder, img_name)
with open(img_path, 'wb') as img_file:
for chunk in response.iter_content(1024):
img_file.write(chunk)
print(f"Image saved at {img_path}")
else:
print("Failed to retrieve the image")
def crawl_website(url):
response = requests.get(url)
if response.status_code == 200:
html_content = response.content
else:
print("Failed to retrieve the webpage")
return
soup = BeautifulSoup(html_content, "html.parser")
# 提取所有段落文本
paragraphs = soup.find_all('p')
for paragraph in paragraphs:
print(paragraph.get_text())
# 提取所有图片链接
images = soup.find_all('img')
# 创建保存图片的文件夹
folder = "images"
if not os.path.exists(folder):
os.makedirs(folder)
# 下载并保存所有图片
for image in images:
img_url = image['src']
save_image(img_url, folder)
示例网站URL
url = "http://example.com"
crawl_website(url)
在这个完整示例中，我们定义了一个crawl_website()函数，该函数接受一个网站URL作为参数，并执行以下步骤：
- 发送HTTP GET请求获取网页内容。
- 使用BeautifulSoup解析HTML文档。
- 提取所有段落文本并打印。
- 提取所有图片链接并下载保存。
通过运行这个示例程序，我们可以爬取网站上的文本和图片，并将图片保存到本地文件夹中。
五、处理相对路径的图片链接
在实际应用中，图片链接可能是相对路径而不是绝对路径。在这种情况下，我们需要将相对路径转换为绝对路径。可以使用urllib.parse模块来完成这一任务：
from urllib.parse import urljoin
def crawl_website(url):
response = requests.get(url)
if response.status_code == 200:
html_content = response.content
else:
print("Failed to retrieve the webpage")
return
soup = BeautifulSoup(html_content, "html.parser")
# 提取所有段落文本
paragraphs = soup.find_all('p')
for paragraph in paragraphs:
print(paragraph.get_text())
# 提取所有图片链接
images = soup.find_all('img')
# 创建保存图片的文件夹
folder = "images"
if not os.path.exists(folder):
os.makedirs(folder)
# 下载并保存所有图片
for image in images:
img_url = image['src']
full_img_url = urljoin(url, img_url) # 转换为绝对路径
save_image(full_img_url, folder)
示例网站URL
url = "http://example.com"
crawl_website(url)
在这个示例中，我们使用urljoin()函数将相对路径转换为绝对路径。这样，我们就可以确保在下载图片时不会出现路径错误。
六、处理网站反爬虫机制
在实际应用中，有些网站会使用反爬虫机制来防止爬虫访问。这可能包括使用CAPTCHA、限制请求频率、检测User-Agent头等。我们可以通过以下几种方式来规避这些机制：
- 设置User-Agent头：有些网站会检测请求头中的User-Agent字段，以判断请求是否来自浏览器。我们可以通过设置User-Agent头来模拟浏览器请求。
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"
}
response = requests.get(url, headers=headers)
- 限制请求频率：为了避免触发网站的反爬虫机制，我们可以在发送请求时添加延迟。
import time
def crawl_website(url):
response = requests.get(url, headers=headers)
if response.status_code == 200:
html_content = response.content
else:
print("Failed to retrieve the webpage")
return
soup = BeautifulSoup(html_content, "html.parser")
# 提取所有段落文本
paragraphs = soup.find_all('p')
for paragraph in paragraphs:
print(paragraph.get_text())
# 提取所有图片链接
images = soup.find_all('img')
# 创建保存图片的文件夹
folder = "images"
if not os.path.exists(folder):
os.makedirs(folder)
# 下载并保存所有图片
for image in images:
img_url = image['src']
full_img_url = urljoin(url, img_url) # 转换为绝对路径
save_image(full_img_url, folder)
time.sleep(1) # 添加延迟
示例网站URL
url = "http://example.com"
crawl_website(url)
通过在每次下载图片后添加延迟，我们可以减少触发反爬虫机制的风险。
七、处理动态网页内容
有些网站的内容是通过JavaScript动态加载的，使用requests库可能无法获取到这些内容。在这种情况下，我们可以使用Selenium库来模拟浏览器行为，并捕获动态加载的内容。
首先，安装Selenium和相应的浏览器驱动程序（例如ChromeDriver）：
pip install selenium
然后，可以使用以下代码示例来爬取动态加载的内容：
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
def crawl_dynamic_website(url):
# 设置Chrome浏览器驱动
options = webdriver.ChromeOptions()
options.add_argument("--headless") # 无头模式
driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()), options=options)
# 打开网页
driver.get(url)
time.sleep(5) # 等待页面加载完成
# 获取页面源代码
html_content = driver.page_source
# 使用BeautifulSoup解析HTML内容
soup = BeautifulSoup(html_content, "html.parser")
# 提取所有段落文本
paragraphs = soup.find_all('p')
for paragraph in paragraphs:
print(paragraph.get_text())
# 提取所有图片链接
images = soup.find_all('img')
# 创建保存图片的文件夹
folder = "images"
if not os.path.exists(folder):
os.makedirs(folder)
# 下载并保存所有图片
for image in images:
img_url = image['src']
full_img_url = urljoin(url, img_url) # 转换为绝对路径
save_image(full_img_url, folder)
time.sleep(1) # 添加延迟
# 关闭浏览器
driver.quit()
示例网站URL
url = "http://example.com"
crawl_dynamic_website(url)
在这个示例中，我们使用Selenium来打开网页，并等待页面加载完成。然后，我们获取页面的源代码，并使用BeautifulSoup解析HTML内容。接下来的步骤与之前的示例类似。
通过这些步骤，我们可以使用Python爬取带图片的文本，并处理各种网站反爬虫机制和动态加载的内容。希望这些示例对您有所帮助！
相关问答FAQs：
如何使用Python爬取网页中的图片和文本？
要使用Python爬取带图片的文本，您可以使用库如BeautifulSoup和requests。首先，使用requests库获取网页的HTML内容，然后利用BeautifulSoup解析HTML，提取文本和图片的URL。接下来，您可以使用requests库再次下载图片。确保遵循网站的robots.txt文件和版权规定。
在爬取图片时需要注意哪些事项？
在爬取图片时，请注意网站的使用条款和版权政策。有些网站禁止爬虫行为，您需要确保您的爬取不会侵犯任何版权。此外，控制爬取频率，避免给目标网站带来负担也是非常重要的。使用适当的headers信息可以模拟正常的浏览器请求，减少被封禁的风险。
如何处理爬取到的文本和图片数据？
爬取到的文本和图片数据可以进行多种处理。文本可以进行清洗、分析，甚至用于自然语言处理任务。对于图片，您可以进行格式转换、压缩或使用图像处理库（如PIL或OpenCV）进行进一步的处理。处理后的数据可以存储在本地文件系统、数据库或云存储中，方便后续使用。
