python如何使用requests库

Python使用requests库的方法包括：安装requests库、发送HTTP请求、处理响应、传递参数和数据、设置请求头、处理异常。下面将详细介绍其中一个关键点：发送HTTP请求。在Python中，requests库提供了便捷的方法来发送不同类型的HTTP请求，包括GET、POST、PUT、DELETE等。使用requests.get(url)可以发送GET请求，获取指定URL的资源数据；而requests.post(url, data)可以用来发送POST请求，将数据提交到服务器。此外，requests库还提供了其他方法来发送不同类型的请求，用户可以根据需要选择合适的方法。下面将深入探讨Python中requests库的使用方法。

一、安装REQUESTS库

在开始使用requests库之前，首先需要确保已经安装该库。可以通过Python的包管理工具pip来安装requests库：

pip install requests

安装成功后，即可在Python脚本中导入requests库并进行使用。

二、发送HTTP请求

1. GET请求

GET请求用于从服务器获取数据，通常用于获取网页数据或API接口返回的数据。使用requests库发送GET请求的方法如下：

import requests
response = requests.get('https://api.example.com/data')
print(response.text)

在这段代码中，我们使用requests.get()方法发送了一个GET请求，并将响应结果存储在response对象中。通过response.text可以获取响应的文本内容。

2. POST请求

POST请求用于向服务器提交数据，通常用于表单提交或上传文件。使用requests库发送POST请求的方法如下：

import requests
data = {'key1': 'value1', 'key2': 'value2'}
response = requests.post('https://api.example.com/submit', data=data)
print(response.text)

在这段代码中，我们定义了一个字典data用于存储需要提交的数据，并使用requests.post()方法发送POST请求。

三、处理响应

在发送请求后，服务器会返回一个响应对象，其中包含了响应的状态码、响应头和响应体等信息。requests库提供了多种方法来处理响应：

1. 获取响应状态码

import requests
response = requests.get('https://api.example.com/data')
print(response.status_code)

使用response.status_code可以获取响应的状态码，以确定请求是否成功。

2. 获取响应头

import requests
response = requests.get('https://api.example.com/data')
print(response.headers)

使用response.headers可以获取响应的头信息，返回一个包含所有头信息的字典。

3. 获取响应内容

可以通过以下几种方式获取响应的内容：

response.text：以字符串形式返回响应内容
response.content：以字节形式返回响应内容
response.json()：将响应内容解析为JSON格式（如果响应内容为JSON）

import requests
response = requests.get('https://api.example.com/data')
print(response.text)  # 字符串形式
print(response.content)  # 字节形式
print(response.json())  # JSON格式

四、传递参数和数据

在发送请求时，可以通过URL参数或请求体传递数据。

1. 传递URL参数

可以使用params参数将数据作为URL参数传递给GET请求：

import requests
params = {'param1': 'value1', 'param2': 'value2'}
response = requests.get('https://api.example.com/data', params=params)
print(response.url)

在这段代码中，params字典中的键值对将被自动编码为URL参数并附加到请求URL中。

2. 传递请求体数据

可以使用data参数将数据作为请求体传递给POST请求：

import requests
data = {'key1': 'value1', 'key2': 'value2'}
response = requests.post('https://api.example.com/submit', data=data)

如果需要传递JSON格式的数据，可以使用json参数：

import requests
import json
data = {'key1': 'value1', 'key2': 'value2'}
response = requests.post('https://api.example.com/submit', json=data)

五、设置请求头

有时需要在请求中设置自定义的请求头，比如User-Agent、Authorization等。可以使用headers参数来设置请求头：

import requests
headers = {'User-Agent': 'my-app/0.0.1', 'Authorization': 'Bearer token'}
response = requests.get('https://api.example.com/data', headers=headers)

在这段代码中，我们通过headers参数设置了User-Agent和Authorization请求头。

六、处理异常

在使用requests库发送请求时，可能会遇到网络连接失败、超时等异常情况。可以使用try-except语句来捕获和处理这些异常：

import requests
try:
    response = requests.get('https://api.example.com/data', timeout=5)
    response.raise_for_status()  # 如果响应状态码不是200，则抛出异常
except requests.exceptions.HTTPError as http_err:
    print(f'HTTP error occurred: {http_err}')
except requests.exceptions.ConnectionError as conn_err:
    print(f'Connection error occurred: {conn_err}')
except requests.exceptions.Timeout as timeout_err:
    print(f'Timeout error occurred: {timeout_err}')
except requests.exceptions.RequestException as req_err:
    print(f'An error occurred: {req_err}')

在这段代码中，我们使用了try-except语句来捕获不同类型的异常，并输出错误信息。使用response.raise_for_status()方法可以在响应状态码不是200时抛出异常。

七、会话对象和持久连接

requests库提供了会话对象（Session）来保持会话状态和持久连接。会话对象可以在多个请求之间共享参数、cookies等信息，提高请求效率。

import requests
创建一个会话对象
session = requests.Session()
设置会话级别的参数
session.headers.update({'User-Agent': 'my-app/0.0.1'})
使用会话对象发送请求
response = session.get('https://api.example.com/data')
print(response.text)
关闭会话
session.close()

在这段代码中，我们创建了一个会话对象session，并设置了会话级别的User-Agent请求头。使用session对象发送请求时，将自动应用会话级别的参数。

八、处理Cookies

requests库可以自动处理服务器发送的Cookies，并在后续请求中自动携带这些Cookies。此外，还可以手动设置请求中的Cookies。

import requests
自动处理Cookies
response = requests.get('https://api.example.com/login')
print(response.cookies)
手动设置Cookies
cookies = {'session_id': '123456'}
response = requests.get('https://api.example.com/data', cookies=cookies)

在这段代码中，response.cookies返回服务器发送的Cookies，并在后续请求中自动携带。我们也可以通过cookies参数手动设置请求中的Cookies。

九、文件上传和下载

requests库提供了便捷的方法来上传和下载文件。

1. 文件上传

可以使用files参数将文件上传到服务器：

import requests
files = {'file': open('report.txt', 'rb')}
response = requests.post('https://api.example.com/upload', files=files)

在这段代码中，我们使用files参数将本地文件report.txt上传到服务器。

2. 文件下载

可以通过流式下载的方式来处理大文件下载：

import requests
response = requests.get('https://api.example.com/largefile', stream=True)
with open('largefile.zip', 'wb') as f:
    for chunk in response.iter_content(chunk_size=8192):
        f.write(chunk)

在这段代码中，设置stream=True以启用流式下载，并通过iter_content()方法逐块读取内容并写入本地文件。

十、SSL证书验证

requests库默认会验证HTTPS请求的SSL证书。如果需要禁用SSL证书验证，可以使用verify参数：

import requests
response = requests.get('https://api.example.com/data', verify=False)

在这段代码中，我们通过verify=False禁用了SSL证书验证。但需要注意的是，禁用SSL证书验证可能会带来安全风险，建议在生产环境中谨慎使用。

十一、代理设置

requests库支持通过代理服务器发送请求，可以使用proxies参数来设置代理：

import requests
proxies = {
    'http': 'http://10.10.1.10:3128',
    'https': 'https://10.10.1.10:1080'
}
response = requests.get('https://api.example.com/data', proxies=proxies)

在这段代码中，我们通过proxies参数设置了HTTP和HTTPS请求的代理服务器地址。

十二、请求超时设置

在网络请求中，超时设置是非常重要的，可以避免由于网络不稳定导致的请求长时间挂起。requests库提供了timeout参数来设置请求的超时时间：

import requests
try:
    response = requests.get('https://api.example.com/data', timeout=3)
    print(response.text)
except requests.exceptions.Timeout:
    print('The request timed out')

在这段代码中，我们将请求的超时时间设置为3秒。如果请求在3秒内没有完成，将抛出Timeout异常。

十三、使用认证

在某些情况下，访问API需要进行身份认证。requests库提供了基本认证和Bearer Token认证等多种认证方式。

1. 基本认证

可以使用HTTPBasicAuth类进行基本认证：

import requests
from requests.auth import HTTPBasicAuth
response = requests.get('https://api.example.com/user', auth=HTTPBasicAuth('username', 'password'))

在这段代码中，我们通过HTTPBasicAuth类传递用户名和密码进行基本认证。

2. Bearer Token认证

可以通过在请求头中设置Authorization字段来进行Bearer Token认证：

import requests
headers = {'Authorization': 'Bearer your_access_token'}
response = requests.get('https://api.example.com/protected', headers=headers)

在这段代码中，我们通过设置Authorization请求头携带Bearer Token进行认证。

十四、DEBUG日志

在调试请求时，可以启用requests库的DEBUG日志来查看详细的请求和响应信息：

import requests
import logging
logging.basicConfig(level=logging.DEBUG)
response = requests.get('https://api.example.com/data')

在这段代码中，我们通过logging模块设置日志级别为DEBUG，从而启用requests库的DEBUG日志。

十五、总结

requests库是Python中功能强大且易于使用的HTTP请求库，提供了丰富的功能来发送和处理HTTP请求。在本文中，我们详细介绍了requests库的安装、发送请求、处理响应、传递参数和数据、设置请求头、处理异常、会话对象、Cookies、文件上传和下载、SSL证书验证、代理设置、请求超时、认证以及DEBUG日志等方面的使用方法。通过合理运用这些功能，可以在Python中轻松实现各种网络请求操作。