fiddler抓取python如何提取

在Fiddler中抓取Python请求并提取数据的方法包括：安装并配置Fiddler、配置Python脚本、抓取HTTP请求、解析响应数据。其中，安装并配置Fiddler是基础步骤，确保你能够成功捕获所有HTTP和HTTPS流量。本文将详细介绍如何在Fiddler中抓取Python请求并提取数据。

一、安装并配置Fiddler

1.1 安装Fiddler

Fiddler是一个免费且强大的HTTP调试代理工具，可以捕获HTTP和HTTPS流量。你可以从Telerik官方网站下载Fiddler，并按照指示进行安装。

1.2 配置Fiddler以捕获HTTPS流量

为了捕获HTTPS流量，需要进行一些额外的配置：

打开Fiddler，点击菜单栏中的Tools，然后选择Options。
在Fiddler Options窗口中，切换到HTTPS选项卡。
勾选Capture HTTPS CONNECTs和Decrypt HTTPS traffic选项。
点击Actions按钮，并选择Trust Root Certificate，安装Fiddler的根证书。

完成这些步骤后，Fiddler将能够捕获所有HTTP和HTTPS流量。

二、配置Python脚本以使用Fiddler代理

2.1 安装请求库

在Python中，我们通常使用requests库进行HTTP请求。如果还没有安装，可以使用以下命令进行安装：

pip install requests

2.2 配置代理

为了让Python的请求通过Fiddler代理，需要在请求中指定代理地址。假设Fiddler运行在本地主机（localhost）上，默认端口为8888，你可以按照以下方式配置：

import requests
proxies = {
    "http": "http://127.0.0.1:8888",
    "https": "http://127.0.0.1:8888",
}
response = requests.get('https://example.com', proxies=proxies)
print(response.text)

通过这种方式，所有HTTP和HTTPS请求将通过Fiddler代理进行。

三、抓取HTTP请求

3.1 启动Fiddler并开始捕获

确保Fiddler正在运行，并且已经开始捕获流量（默认情况下是自动捕获的）。你可以通过查看左侧的会话列表来确认是否有流量被捕获。

3.2 运行Python脚本

运行配置了代理的Python脚本，你应该能够在Fiddler中看到相应的HTTP请求。通过双击请求条目，可以查看详细的请求和响应信息。

3.3 过滤请求

为了更容易地找到特定的请求，可以使用Fiddler的过滤功能。在左侧的会话列表上方，有一个过滤器文本框，你可以输入URL或其他关键字进行过滤。

四、解析响应数据

4.1 查看响应内容

在Fiddler中双击一个请求条目，可以打开详细信息面板。在Inspectors选项卡中，你可以查看请求和响应的详细信息，包括Headers、TextView、Raw等视图。

4.2 使用Python解析响应数据

在Python中，你可以使用requests库提供的功能来解析响应数据。以下是一个简单的示例，展示了如何解析JSON响应：

import requests
proxies = {
    "http": "http://127.0.0.1:8888",
    "https": "http://127.0.0.1:8888",
}
response = requests.get('https://jsonplaceholder.typicode.com/posts', proxies=proxies)
data = response.json()
for item in data:
    print(f"Title: {item['title']}, Body: {item['body']}")

4.3 提取特定字段

根据实际需求，你可能需要提取响应中的特定字段。以下是一个示例，展示了如何提取特定字段并进行处理：

import requests
proxies = {
    "http": "http://127.0.0.1:8888",
    "https": "http://127.0.0.1:8888",
}
response = requests.get('https://jsonplaceholder.typicode.com/posts', proxies=proxies)
data = response.json()
titles = [item['title'] for item in data]
print("Extracted Titles:", titles)

4.4 错误处理

在实际应用中，网络请求可能会失败，因此需要进行错误处理。以下是一个示例，展示了如何处理HTTP错误和连接异常：

import requests
from requests.exceptions import HTTPError, ConnectionError
proxies = {
    "http": "http://127.0.0.1:8888",
    "https": "http://127.0.0.1:8888",
}
try:
    response = requests.get('https://jsonplaceholder.typicode.com/posts', proxies=proxies)
    response.raise_for_status()  # 如果响应状态码不是200，会抛出HTTPError
    data = response.json()
    print("Data fetched successfully:", data)
except HTTPError as http_err:
    print(f"HTTP error occurred: {http_err}")
except ConnectionError as conn_err:
    print(f"Connection error occurred: {conn_err}")
except Exception as err:
    print(f"An error occurred: {err}")

五、使用Fiddler脚本增强功能

5.1 Fiddler脚本基础

Fiddler提供了一个强大的脚本引擎，允许用户编写C#脚本来自动处理和修改HTTP请求和响应。你可以通过Rules菜单中的Customize Rules...选项打开FiddlerScript编辑器。

5.2 修改请求

以下是一个示例，展示了如何使用FiddlerScript修改请求头：

class Handlers {
    public static function OnBeforeRequest(oSession: Session) {
        if (oSession.HostnameIs("example.com")) {
            oSession.oRequest["User-Agent"] = "My Custom User Agent";
        }
    }
}

5.3 修改响应

你还可以使用FiddlerScript修改响应内容。以下是一个示例，展示了如何替换响应中的特定字符串：

class Handlers {
    public static function OnBeforeResponse(oSession: Session) {
        if (oSession.HostnameIs("example.com")) {
            oSession.utilDecodeResponse(); // 解码响应
            oSession.utilReplaceInResponse("old string", "new string");
        }
    }
}

六、总结

通过结合使用Fiddler和Python，你可以轻松地抓取和解析HTTP请求和响应。安装并配置Fiddler是第一步，确保你能够捕获所有流量。然后，配置Python脚本以使用Fiddler代理，确保所有请求通过Fiddler进行。接下来，抓取HTTP请求并使用Fiddler的各种功能查看详细信息。最后，解析响应数据，提取所需信息并进行处理。

通过这些步骤，你可以更好地理解和调试HTTP请求，尤其是在开发和测试Web应用程序时。Fiddler和Python的结合使用提供了强大的功能，使你能够高效地完成这一任务。如果你需要管理更复杂的项目，可以考虑使用研发项目管理系统PingCode或通用项目管理软件Worktile，它们能够帮助你更好地组织和管理你的项目。