1. PingCode智库首页
  2. 百科

python如何发请求

Edit2 • • 百科

python如何发请求

Python发请求的方法包括：使用标准库urllib、使用requests库、处理GET请求和POST请求。 在众多方法中，requests库因其简洁和功能强大而被广泛应用。下面我们将详细讨论这几种方法，并提供实际应用中的注意事项和最佳实践。

一、使用标准库urllib

Python自带的urllib库可以用来处理URL请求。尽管功能全面，但其API相对复杂，代码可读性不高。

1. urllib库简介

urllib库包含了几个模块：urllib.request、urllib.error、urllib.parse和urllib.robotparser。其中，urllib.request用于打开和读取URL。

2. GET请求

GET请求用于从服务器获取数据。以下是一个基本的GET请求示例：

import urllib.request


url = 'https://api.example.com/data'


response = urllib.request.urlopen(url)


data = response.read().decode('utf-8')


print(data)

3. POST请求

POST请求用于向服务器发送数据。以下是一个基本的POST请求示例：

import urllib.request


import urllib.parse


url = 'https://api.example.com/data'


data = urllib.parse.urlencode({'key1': 'value1', 'key2': 'value2'}).encode('utf-8')


request = urllib.request.Request(url, data=data)


response = urllib.request.urlopen(request)


result = response.read().decode('utf-8')


print(result)

二、使用requests库

requests库是Python中最受欢迎的HTTP库之一，其简洁的API使得HTTP请求变得非常简单。

1. 安装requests库

在使用requests库之前，需要先安装它：

pip install requests

2. GET请求

GET请求的基本用法如下：

import requests


url = 'https://api.example.com/data'


response = requests.get(url)


if response.status_code == 200:


    data = response.json()  # 如果响应内容是JSON格式


    print(data)


else:


    print(f"请求失败，状态码: {response.status_code}")

3. POST请求

POST请求的基本用法如下：

import requests


url = 'https://api.example.com/data'


payload = {'key1': 'value1', 'key2': 'value2'}


response = requests.post(url, data=payload)


if response.status_code == 200:


    result = response.json()  # 如果响应内容是JSON格式


    print(result)


else:


    print(f"请求失败，状态码: {response.status_code}")

三、处理响应

处理响应是HTTP请求的重要环节，以下是一些常见的响应处理方法：

1. 解析JSON响应

多数API返回的数据都是JSON格式，可以使用response.json()方法直接将响应内容解析成Python字典：

data = response.json()

2. 处理错误

为了确保程序的健壮性，需要处理可能的错误。例如，捕获请求异常：

import requests


from requests.exceptions import HTTPError


url = 'https://api.example.com/data'


try:


    response = requests.get(url)


    response.raise_for_status()  # 如果响应状态码不是200，会引发HTTPError


    data = response.json()


    print(data)


except HTTPError as http_err:


    print(f"HTTP error occurred: {http_err}")


except Exception as err:


    print(f"Other error occurred: {err}")

四、进阶用法

1. 设置请求头

某些API需要特定的请求头，例如身份验证信息：

import requests


url = 'https://api.example.com/protected'


headers = {


    'Authorization': 'Bearer YOUR_ACCESS_TOKEN',


    'Content-Type': 'application/json'


}


response = requests.get(url, headers=headers)


if response.status_code == 200:


    data = response.json()


    print(data)


else:


    print(f"请求失败，状态码: {response.status_code}")

2. 处理文件上传

文件上传通常使用POST请求，并将文件作为files参数传递：

import requests


url = 'https://api.example.com/upload'


files = {'file': open('test.txt', 'rb')}


response = requests.post(url, files=files)


if response.status_code == 200:


    result = response.json()


    print(result)


else:


    print(f"请求失败，状态码: {response.status_code}")

3. 处理Cookies

可以通过requests.Session对象来处理跨请求的Cookies：

import requests


session = requests.Session()


第一次请求，获取并保存Cookies


response = session.get('https://api.example.com/login')


cookies = session.cookies


第二次请求，使用保存的Cookies


response = session.get('https://api.example.com/data')


data = response.json()


print(data)

五、最佳实践

1. 使用环境变量管理敏感信息

为了安全起见，不要在代码中硬编码敏感信息，如API密钥。可以使用环境变量来管理这些信息：

import os


import requests


api_key = os.getenv('API_KEY')


url = 'https://api.example.com/data'


headers = {


    'Authorization': f'Bearer {api_key}'


}


response = requests.get(url, headers=headers)


if response.status_code == 200:


    data = response.json()


    print(data)


else:


    print(f"请求失败，状态码: {response.status_code}")

2. 使用超时机制

为了防止请求长时间挂起，应该设置超时：

import requests


url = 'https://api.example.com/data'


try:


    response = requests.get(url, timeout=10)  # 设置超时为10秒


    response.raise_for_status()


    data = response.json()


    print(data)


except requests.Timeout:


    print("请求超时")


except requests.RequestException as e:


    print(f"请求失败: {e}")

3. 使用重试机制

某些网络请求可能会因为临时的网络问题失败，使用重试机制可以提高请求的成功率：

import requests


from requests.adapters import HTTPAdapter


from requests.packages.urllib3.util.retry import Retry


url = 'https://api.example.com/data'


设置重试策略


retry_strategy = Retry(


    total=3,  # 总共重试3次


    status_forcelist=[429, 500, 502, 503, 504],  # 针对这些状态码重试


    method_whitelist=["HEAD", "GET", "OPTIONS"]  # 针对这些请求方法重试


)


adapter = HTTPAdapter(max_retries=retry_strategy)


http = requests.Session()


http.mount("https://", adapter)


http.mount("http://", adapter)


try:


    response = http.get(url)


    response.raise_for_status()


    data = response.json()


    print(data)


except requests.RequestException as e:


    print(f"请求失败: {e}")

六、实际应用中的注意事项

1. API版本管理

在实际开发中，API版本管理非常重要，确保你的应用与API版本相匹配，以防止因API更新导致的兼容性问题：

url = 'https://api.example.com/v1/data'


response = requests.get(url)

2. 处理分页

某些API返回的数据可能分页，需要处理分页逻辑：

import requests


url = 'https://api.example.com/data'


params = {'page': 1, 'per_page': 10}


all_data = []


while True:


    response = requests.get(url, params=params)


    if response.status_code == 200:


        data = response.json()


        if not data:


            break


        all_data.extend(data)


        params['page'] += 1


    else:


        print(f"请求失败，状态码: {response.status_code}")


        break


print(all_data)

3. 处理并发请求

对于需要处理大量请求的场景，可以使用并发机制来提升效率：

import concurrent.futures


import requests


urls = ['https://api.example.com/data1', 'https://api.example.com/data2', 'https://api.example.com/data3']


def fetch(url):


    response = requests.get(url)


    return response.json() if response.status_code == 200 else None


with concurrent.futures.ThreadPoolExecutor() as executor:


    results = list(executor.map(fetch, urls))


print(results)

七、总结

Python提供了多种发请求的方法，requests库因其简洁和功能强大而被广泛应用。在实际开发中，选择适当的方法和策略，处理不同类型的请求和响应，能大大提升程序的健壮性和可维护性。无论是GET请求、POST请求、文件上传还是处理Cookies，requests库都能提供简洁且高效的解决方案。同时，使用环境变量管理敏感信息、设置超时和重试机制，都是确保程序安全和稳定的重要措施。

相关问答FAQs：

1. 如何在Python中发送HTTP请求？
在Python中，你可以使用requests库来发送HTTP请求。首先，你需要通过pip安装requests库。然后，你可以使用requests.get()函数发送一个GET请求，或使用requests.post()函数发送一个POST请求。你还可以设置请求头、传递参数等。以下是一个示例代码：

import requests

# 发送GET请求
response = requests.get('https://www.example.com')

# 发送POST请求
data = {'key1': 'value1', 'key2': 'value2'}
response = requests.post('https://www.example.com', data=data)

2. 如何设置请求头信息？
在发送HTTP请求时，你可以设置请求头信息来模拟浏览器发送请求。通过在headers参数中传递一个字典，你可以设置请求头的各种属性，如User-Agent、Referer等。以下是一个示例代码：

import requests

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3',
    'Referer': 'https://www.example.com'
}

response = requests.get('https://www.example.com', headers=headers)

3. 如何传递参数给请求？
在发送HTTP请求时，有时你需要传递一些参数给请求。你可以在GET请求的URL中添加查询字符串参数，或在POST请求中通过data参数传递表单数据。以下是一个示例代码：

import requests

# 在URL中添加查询字符串参数
response = requests.get('https://www.example.com/search?q=python')

# 通过data参数传递表单数据
data = {'username': 'admin', 'password': '123456'}
response = requests.post('https://www.example.com/login', data=data)

希望以上解答能帮助到你！如果还有其他问题，请随时提问。

原创文章，作者：Edit2，如若转载，请注明出处：https://docs.pingcode.com/baike/802696

赞 (0)
Edit2Edit2
上一篇 2024年8月24日 上午3:44
下一篇 2024年8月24日 上午3:44
免费注册
电话联系

4008001024

微信咨询
微信咨询
返回顶部