fiddler如何抓取web数据

Fiddler抓取Web数据的方法包括：设置代理、配置HTTPS、过滤流量、分析请求、保存会话。 在这些方法中，设置代理是最关键的一步，因为它使Fiddler能够拦截和记录通过代理的所有HTTP和HTTPS流量。下面将详细介绍设置代理的方法。

设置代理的过程主要包括以下几个步骤：首先，启动Fiddler，确保它在计算机的代理设置中被设为系统代理。然后，在Fiddler中配置HTTPS流量捕获，确保能够处理加密的HTTPS请求。最后，在浏览器或应用程序中设置代理服务器为Fiddler，使其流量通过Fiddler代理。完成这些步骤后，Fiddler就能捕获到所有通过它的Web流量，便于进一步分析和调试。

一、设置代理

Fiddler作为一个HTTP代理服务器，能够拦截和记录通过它的所有HTTP和HTTPS流量。以下是设置代理的具体步骤：

1. 启动Fiddler

首先，下载并安装Fiddler。启动Fiddler后，它会自动在本地计算机上启动一个代理服务器，默认情况下，该代理服务器监听127.0.0.1:8888端口。Fiddler会自动将系统代理设置更改为指向此地址。

2. 配置HTTPS流量捕获

为了捕获HTTPS流量，必须配置Fiddler以解密HTTPS流量。进入Fiddler的菜单栏，选择Tools > Options > HTTPS，勾选Capture HTTPS CONNECTs和Decrypt HTTPS traffic。Fiddler会提示安装其信任的根证书，以便能够解密HTTPS流量。按照提示完成安装即可。

3. 设置浏览器或应用程序代理

在大多数情况下，Fiddler会自动设置系统代理，使所有通过系统代理的流量都会被Fiddler捕获。如果需要手动设置代理，可以在浏览器或应用程序的网络设置中，将代理服务器地址设置为127.0.0.1，端口设置为8888。

二、配置HTTPS

1. 安装Fiddler证书

为了解密HTTPS流量，Fiddler需要安装其根证书。进入Fiddler的菜单栏，选择Tools > Options > HTTPS，点击Actions > Export Root Certificate to Desktop，然后双击证书文件进行安装。

2. 信任根证书

在Windows系统中，证书安装完成后，必须将其添加到受信任的根证书颁发机构。进入证书管理器，找到Fiddler的根证书，右键选择所有任务 > 导入，将其导入到受信任的根证书颁发机构。

三、过滤流量

1. 使用过滤器

Fiddler提供了强大的过滤功能，可以根据不同的条件过滤流量。例如，可以在Fiddler的过滤器面板中设置只显示特定域名的流量，或者排除不需要的流量。这样可以更容易地分析和调试特定的请求和响应。

2. 高级过滤

除了基本的过滤器，Fiddler还支持高级过滤规则。可以使用FiddlerScript编写自定义的过滤规则，以满足复杂的需求。例如，可以编写脚本根据HTTP头信息、请求方法或响应状态码来过滤流量。

四、分析请求

1. 查看请求和响应

Fiddler会记录所有通过代理的请求和响应。可以在Fiddler的会话列表中查看详细的请求和响应信息。选择一个会话，可以看到请求的URL、方法、头信息、请求体，以及响应的状态码、头信息和响应体。

2. 调试和修改请求

Fiddler还提供了强大的调试功能。可以在请求发送前修改请求的任何部分，例如URL、头信息或请求体。这样可以方便地测试不同的请求参数，调试和分析服务器的响应。

五、保存会话

1. 导出会话

Fiddler允许将捕获的会话导出为不同的格式，例如SAZ、HAR或XML格式。选择需要导出的会话，右键选择Save > Selected Sessions，然后选择导出格式和保存路径。

2. 导入会话

可以将之前导出的会话导入到Fiddler中进行分析。选择File > Import Sessions，选择会话文件，然后点击Open。Fiddler会将会话导入到会话列表中，便于进一步分析。

六、使用Fiddler的高级功能

1. 自动化测试

Fiddler支持自动化测试，可以使用FiddlerScript编写自动化测试脚本。FiddlerScript是一种基于JScript.NET的脚本语言，可以用来编写自定义的请求和响应处理逻辑。例如，可以编写脚本自动发送一系列请求，检查响应状态码和响应体内容，进行自动化测试。

2. 性能分析

Fiddler还提供了强大的性能分析功能。可以使用Fiddler的Performance面板查看每个请求的性能指标，例如DNS解析时间、连接时间、发送时间、等待时间和接收时间。这样可以帮助识别和优化Web应用的性能瓶颈。

七、与团队协作

1. 共享会话

Fiddler支持将捕获的会话共享给团队成员。可以将会话导出为SAZ文件，然后通过邮件或共享文件夹发送给团队成员。团队成员可以将SAZ文件导入到Fiddler中，查看和分析会话。

2. 项目管理系统

在团队协作中，使用项目管理系统可以提高效率。推荐使用研发项目管理系统PingCode和通用项目协作软件Worktile。这些系统可以帮助团队成员跟踪任务进度、分配任务、共享文档和讨论问题，提升团队协作效率。

八、常见问题与解决方法

1. 无法捕获HTTPS流量

如果Fiddler无法捕获HTTPS流量，可能是因为根证书未正确安装。可以尝试重新安装Fiddler的根证书，并确保将其添加到受信任的根证书颁发机构。如果仍然无法解决问题，可以检查浏览器或应用程序的代理设置，确保代理服务器设置为127.0.0.1:8888。

2. 无法捕获特定应用程序的流量

某些应用程序可能会忽略系统代理设置，导致Fiddler无法捕获其流量。可以尝试在应用程序的网络设置中手动配置代理服务器为127.0.0.1:8888。如果应用程序不支持手动配置代理，可以使用Fiddler的Reverse Proxy功能，将Fiddler配置为反向代理，捕获应用程序的流量。

九、总结

Fiddler是一款强大的Web调试代理工具，能够帮助开发者和测试人员捕获和分析HTTP和HTTPS流量。通过设置代理、配置HTTPS、过滤流量、分析请求和保存会话，Fiddler可以提供全面的流量捕获和分析功能。此外，Fiddler还支持自动化测试、性能分析和团队协作，进一步提升开发和测试效率。在团队协作中，推荐使用研发项目管理系统PingCode和通用项目协作软件Worktile，以提高团队协作效率。