Python如何拦截http请求

Python拦截HTTP请求的方式有多种，包括使用代理服务器、网络嗅探器或通过修改请求库来实现。使用代理服务器是最常见的方式，通过设置一个中间代理服务器，可以捕获和修改HTTP请求和响应；网络嗅探器则通过监听网络流量来捕获请求；而通过修改请求库则是在代码层面进行拦截和修改。这里我们详细讨论如何使用代理服务器来拦截HTTP请求。

一、使用代理服务器拦截HTTP请求

代理服务器是一个位于客户端和目标服务器之间的中间服务器，它接收客户端的请求并将其转发到目标服务器，并将目标服务器的响应返回给客户端。通过代理服务器，我们可以捕获、修改或记录HTTP请求和响应。

1、设置代理服务器

首先，我们需要设置一个代理服务器。Python中有多种实现代理服务器的方式，其中最常用的是使用第三方库，如mitmproxy、Fiddler或Charles。这些工具可以帮助我们轻松地捕获和修改HTTP流量。

例如，使用mitmproxy，我们可以通过以下步骤来设置代理服务器：

安装mitmproxy：可以使用pip来安装：pip install mitmproxy
启动代理服务器：在终端中输入mitmproxy命令，这将启动一个默认监听在端口8080的代理服务器。
配置客户端：在浏览器或应用程序中设置代理服务器为localhost:8080。

2、捕获HTTP请求

一旦代理服务器设置完成，我们就可以开始捕获HTTP请求。通过mitmproxy，我们可以查看所有通过代理的HTTP请求和响应。可以使用以下命令来查看请求：

mitmproxy：在终端中启动后，会打开一个交互式界面，允许我们查看和修改HTTP流量。
mitmdump：如果希望在终端中查看流量日志，可以使用mitmdump命令，它将HTTP流量输出到终端。

3、修改HTTP请求

代理服务器不仅可以捕获HTTP请求，还可以修改请求。通过mitmproxy，我们可以编写脚本来自动修改请求或响应。例如，可以编写一个Python脚本来修改请求头部或请求体：

from mitmproxy import http
def request(flow: http.HTTPFlow) -> None:
    # 修改请求头
    flow.request.headers["User-Agent"] = "MyCustomUserAgent"
    # 修改请求体
    if flow.request.method == "POST":
        flow.request.text = flow.request.text.replace("old_value", "new_value")

将此脚本保存为script.py，然后使用以下命令运行mitmproxy并加载脚本：

mitmproxy -s script.py

二、使用网络嗅探器拦截HTTP请求

网络嗅探器是一种通过监听网络接口来捕获网络流量的工具。Python中可以使用scapy库来实现网络嗅探。

1、安装`scapy`

在命令行中使用以下命令安装scapy：

pip install scapy

2、捕获HTTP请求

使用scapy可以通过监听指定的网络接口来捕获HTTP请求。下面是一个简单的示例：

from scapy.all import sniff, Raw
def packet_callback(packet):
    if packet.haslayer(Raw):
        payload = packet[Raw].load
        if b"GET" in payload or b"POST" in payload:
            print(payload)
sniff(filter="tcp port 80", prn=packet_callback, store=0)

这段代码会监听80端口的TCP流量，并打印出包含HTTP GET或POST请求的报文内容。

三、修改请求库以拦截HTTP请求

在某些情况下，我们可能希望在代码层面拦截HTTP请求。这可以通过修改HTTP请求库来实现，例如使用requests库并在发送请求前进行修改。

1、使用`requests`库

Python的requests库是一个常用的HTTP请求库，可以通过猴子补丁的方式来拦截和修改请求。

import requests
保存原始的requests.request方法
original_request = requests.request
def modified_request(method, url, kwargs):
    # 在这里修改请求，例如添加自定义头部
    headers = kwargs.get("headers", {})
    headers["Custom-Header"] = "CustomValue"
    kwargs["headers"] = headers
    # 调用原始的请求方法
    return original_request(method, url, kwargs)
将requests.request替换为modified_request
requests.request = modified_request
测试请求
response = requests.get("http://example.com")
print(response.text)

以上代码展示了如何通过修改requests库的请求方法来添加自定义头部。

四、总结

Python提供了多种方式来拦截HTTP请求，包括使用代理服务器、网络嗅探器和修改请求库。代理服务器如mitmproxy功能强大，可以轻松捕获和修改HTTP流量；网络嗅探器如scapy可以在较低层次捕获流量；而通过修改请求库可以在代码层面进行更精细的控制。根据具体需求选择合适的方法，可以有效地实现HTTP请求的拦截和处理。