python爬去图片 url加密如何解析

Python爬取图片 URL加密解析的步骤包括使用各种方法来解密和提取图片的真实 URL。常见的方法包括：抓包分析、JS逆向工程、模拟用户行为、使用相关库进行解密。本文将详细介绍这些方法，并分享一些个人经验。

一、抓包分析

抓包分析是解析加密 URL 的常见方法之一。通过抓包工具（如 Fiddler、Wireshark、Charles 等），可以捕获应用程序的 HTTP 请求和响应，从中提取出加密的 URL 并分析其加密方式。

选择抓包工具：首先选择适合的抓包工具。Fiddler 和 Charles 是常见的选择，前者适合 Windows 用户，后者跨平台。
配置代理：配置代理服务器，使得所有流量通过抓包工具。这样可以捕获到应用程序的所有 HTTP 请求和响应。
捕获流量：启动目标应用程序，进行图片加载等操作，抓包工具会捕获到所有相关的 HTTP 请求和响应。
分析请求：在抓包工具中找到对应的请求，查看其请求头和响应数据，找到加密的 URL。
解密分析：通过分析响应数据和 JavaScript 代码，了解加密和解密的逻辑，进而提取出真实的图片 URL。

二、JS逆向工程

有些网站会使用 JavaScript 对图片 URL 进行加密和解密。通过逆向工程，可以分析 JavaScript 代码，找到加密和解密的逻辑。

获取 JavaScript 代码：使用浏览器开发者工具（如 Chrome DevTools）获取网页中的 JavaScript 代码。可以在“Sources”或“Network”面板中找到相关的 JavaScript 文件。
分析代码：阅读和分析 JavaScript 代码，找到加密和解密的逻辑。通常会涉及到一些字符串操作、加密算法等。
实现解密逻辑：将解密逻辑用 Python 实现。可以使用 execjs 库来直接执行 JavaScript 代码，也可以翻译成纯 Python 实现。

三、模拟用户行为

有些网站会通过复杂的用户行为来隐藏图片 URL。通过模拟用户行为，可以触发相关的请求，获取到图片的真实 URL。

使用 Selenium：Selenium 是一个常用的自动化测试工具，可以用来模拟用户行为。通过 Selenium，可以在浏览器中模拟点击、滚动等操作。
捕获请求：在模拟用户行为的过程中，使用 Selenium 捕获到页面的请求，并提取出图片的真实 URL。
处理动态加载：有些图片可能是通过 AJAX 动态加载的，需要处理相关的异步请求，确保获取到完整的图片 URL。

四、使用相关库进行解密

在 Python 中，有一些库可以帮助进行解密和提取图片 URL。这些库提供了常见的加密和解密算法，以及方便的接口。

Pycryptodome：这是一个常用的加密解密库，支持多种加密算法。可以使用 Pycryptodome 进行对称加密、非对称加密等操作。
Requests：这是一个方便的 HTTP 库，可以用来发送 HTTP 请求，获取响应数据。结合 Pycryptodome，可以实现对加密 URL 的解密。
BeautifulSoup：这是一个常用的 HTML 解析库，可以用来提取网页中的图片 URL。结合 Requests，可以实现对网页的爬取和解析。

实际代码示例

以下是一个简单的代码示例，展示了如何使用 Requests 和 BeautifulSoup 来爬取图片 URL：

import requests
from bs4 import BeautifulSoup
from Crypto.Cipher import AES
import base64
def decrypt_url(encrypted_url, key, iv):
    cipher = AES.new(key, AES.MODE_CBC, iv)
    decrypted_bytes = cipher.decrypt(base64.b64decode(encrypted_url))
    decrypted_url = decrypted_bytes.rstrip(b"\0").decode('utf-8')
    return decrypted_url
def fetch_image_urls(page_url):
    response = requests.get(page_url)
    soup = BeautifulSoup(response.content, 'html.parser')
    encrypted_urls = [img['src'] for img in soup.find_all('img') if 'src' in img.attrs]
    decrypted_urls = []
    key = b'your-encryption-key'  # 替换为实际的密钥
    iv = b'your-initialization-vector'  # 替换为实际的初始化向量
    for encrypted_url in encrypted_urls:
        decrypted_url = decrypt_url(encrypted_url, key, iv)
        decrypted_urls.append(decrypted_url)
    return decrypted_urls
page_url = 'https://example.com/page-with-encrypted-images'
image_urls = fetch_image_urls(page_url)
for url in image_urls:
    print(url)