Python如何设置headers

Python设置headers的方法有多种，包括使用requests库、http.client模块、以及urllib库。对于大多数使用情况，requests库是最简单和最常用的选择。requests库让你轻松配置HTTP请求的headers、保持代码简洁易读、支持复杂的认证和代理设置。

在详细讨论如何设置headers之前，了解HTTP请求的headers的重要性是很有必要的。HTTP请求的headers是客户端向服务器发送的附加信息，它们可以用来告知服务器客户端的类型、能力、请求的格式以及其他信息。设置正确的headers对API请求、网页抓取等操作至关重要。

接下来，我将详细介绍在Python中如何通过不同的方法设置headers。

一、使用requests库设置headers

requests库是Python中处理HTTP请求的一个非常流行的库，其简洁的API设计使得处理HTTP请求变得非常容易。

1、基本使用

要使用requests库设置headers，首先需要安装requests库。可以通过以下命令安装：

pip install requests

安装完成后，我们可以通过以下方式设置headers：

import requests
url = 'https://api.example.com/data'
headers = {
    'User-Agent': 'my-app/0.0.1',
    'Accept': 'application/json',
}
response = requests.get(url, headers=headers)
print(response.content)

在这个例子中，我们通过将headers作为字典传递给requests.get()方法来设置。User-Agent和Accept是常用的headers，它们分别用来描述客户端应用和期望的响应格式。

2、常用headers

在实际应用中，以下是一些常见的HTTP请求headers：

User-Agent：标识客户端应用。
Accept：指定客户端期望的响应格式。
Content-Type：用于POST请求，指定发送数据的格式。
Authorization：用于传递认证信息。
Referer：告知服务器请求的来源页面。
Accept-Encoding：指定客户端支持的编码格式。

3、处理认证和会话

在使用requests库时，处理认证信息和保持会话是很常见的需求。requests库提供了简便的方法来处理这些需求。

认证

对于需要认证的请求，可以使用requests库的auth参数：

from requests.auth import HTTPBasicAuth
response = requests.get(url, headers=headers, auth=HTTPBasicAuth('user', 'pass'))

这里我们使用了HTTP Basic Auth认证。requests库也支持其他类型的认证，如OAuth。

会话

使用requests库的Session对象可以在多个请求之间保持会话：

session = requests.Session()
session.headers.update({'User-Agent': 'my-app/0.0.1'})
response = session.get(url)

Session对象允许你设置默认的headers，并在多个请求之间保持cookies。

二、使用http.client模块设置headers

http.client是Python标准库的一部分，它提供了更底层的HTTP请求处理能力。相比requests库，http.client更复杂，但也更灵活。

1、基本使用

以下是使用http.client设置headers的基本方法：

import http.client
conn = http.client.HTTPSConnection("api.example.com")
headers = {
    'User-Agent': 'my-app/0.0.1',
    'Accept': 'application/json',
}
conn.request("GET", "/data", headers=headers)
response = conn.getresponse()
print(response.read().decode())
conn.close()

在这个例子中，我们使用http.client.HTTPSConnection对象来建立连接，并通过request()方法传递headers。

2、处理响应

http.client返回的响应对象可以通过getresponse()方法获得，它提供了读取响应内容和获取响应headers的方法。

response = conn.getresponse()
data = response.read()
print(response.status)
print(response.getheaders())

可以看到，response.status可以用来获取HTTP响应状态码，而response.getheaders()返回一个包含所有响应headers的列表。

三、使用urllib库设置headers

urllib库也是Python标准库的一部分，它提供了一个更高级别的接口来处理HTTP请求。相比http.client，urllib更易于使用。

1、基本使用

以下是使用urllib库设置headers的方法：

import urllib.request
url = 'https://api.example.com/data'
headers = {
    'User-Agent': 'my-app/0.0.1',
    'Accept': 'application/json',
}
req = urllib.request.Request(url, headers=headers)
with urllib.request.urlopen(req) as response:
    print(response.read().decode())

在这个例子中，我们通过urllib.request.Request对象来设置headers，并使用urlopen()方法发送请求。

2、处理认证

urllib库同样支持处理认证信息。对于需要认证的请求，可以使用HTTPPasswordMgr和HTTPBasicAuthHandler：

from urllib.request import HTTPPasswordMgrWithDefaultRealm, HTTPBasicAuthHandler, build_opener
password_mgr = HTTPPasswordMgrWithDefaultRealm()
password_mgr.add_password(None, url, 'user', 'pass')
auth_handler = HTTPBasicAuthHandler(password_mgr)
opener = build_opener(auth_handler)
response = opener.open(req)
print(response.read().decode())

通过这种方式，可以轻松处理HTTP Basic Auth认证。