python如何加requests库

要在Python中使用requests库，首先需要安装该库。通过pip安装、通过conda安装、通过源码安装等方法都可以实现。下面将详细描述其中一种方法：

通过pip安装

使用pip是最常见和最简单的方法。在命令行或终端窗口中输入以下命令：

pip install requests

这将从Python Package Index (PyPI) 下载并安装requests库。如果您在安装过程中遇到权限问题，可以使用以下命令：

pip install requests --user

这将安装库到您的用户目录，而不是系统目录。

一、通过conda安装

如果您使用Anaconda或Miniconda，可以通过以下命令安装requests库：

conda install requests

这将从Anaconda仓库中下载并安装requests库。

二、通过源码安装

首先，从GitHub仓库克隆requests库：

git clone https://github.com/psf/requests.git

cd requests

使用以下命令安装：

python setup.py install

三、验证安装

无论您使用哪种方法安装requests库，安装完成后，您可以通过以下方式验证安装是否成功：

import requests
response = requests.get('https://api.github.com')
print(response.status_code)

如果这段代码运行没有报错并且输出了状态码200，则说明安装成功。

四、使用`requests`库进行网络请求

以下是一些使用requests库进行基本网络请求的示例：

1. 发送GET请求

import requests
response = requests.get('https://jsonplaceholder.typicode.com/posts')
print(response.status_code)
print(response.json())

这段代码发送一个GET请求到jsonplaceholder并打印响应的状态码和响应体。

2. 发送POST请求

import requests
data = {'title': 'foo', 'body': 'bar', 'userId': 1}
response = requests.post('https://jsonplaceholder.typicode.com/posts', data=data)
print(response.status_code)
print(response.json())

这段代码发送一个POST请求，并在请求体中包含一些数据。

3. 添加请求头

import requests
headers = {'Authorization': 'Bearer YOUR_ACCESS_TOKEN'}
response = requests.get('https://api.github.com/user', headers=headers)
print(response.status_code)
print(response.json())

这段代码在发送请求时添加一个Authorization头。

五、处理响应

requests库提供了很多方便的方法来处理响应：

1. 获取响应内容

import requests
response = requests.get('https://jsonplaceholder.typicode.com/posts')
print(response.text)  # 以字符串形式获取响应内容
print(response.json())  # 以JSON形式获取响应内容

2. 处理状态码

import requests
response = requests.get('https://jsonplaceholder.typicode.com/posts')
if response.status_code == 200:
    print('Request was successful')
elif response.status_code == 404:
    print('Not Found')
else:
    print('Something went wrong')

六、处理超时和重试

在使用requests库时，您可能会遇到网络问题，可以通过设置超时和重试来处理这些问题：

1. 设置超时

import requests
try:
    response = requests.get('https://jsonplaceholder.typicode.com/posts', timeout=5)
    print(response.status_code)
except requests.Timeout:
    print('The request timed out')

这段代码设置请求超时时间为5秒。

2. 使用`requests`库中的`Retry`机制

from requests.adapters import HTTPAdapter
from requests.packages.urllib3.util.retry import Retry
s = requests.Session()
retries = Retry(total=5, backoff_factor=1, status_forcelist=[502, 503, 504])
s.mount('http://', HTTPAdapter(max_retries=retries))
try:
    response = s.get('http://httpbin.org/status/503')
    print(response.status_code)
except requests.RequestException as e:
    print('Error:', e)

这段代码使用Retry机制，设置了重试次数和重试条件。

七、会话和持久连接

使用requests.Session可以在多个请求之间保持一些参数，比如cookies和headers。

1. 创建会话

import requests
s = requests.Session()
s.get('https://httpbin.org/cookies/set/sessioncookie/123456789')
response = s.get('https://httpbin.org/cookies')
print(response.text)

这段代码在会话中设置了一个cookie，并在后续请求中发送这个cookie。

2. 持久连接

import requests
s = requests.Session()
s.mount('http://', requests.adapters.HTTPAdapter(pool_connections=1, pool_maxsize=10))
response = s.get('http://httpbin.org/get')
print(response.status_code)

这段代码创建了一个持久连接池，复用TCP连接以提高性能。

八、其他功能

requests库还提供了很多其他有用的功能：

1. 上传文件

import requests
files = {'file': open('report.csv', 'rb')}
response = requests.post('https://httpbin.org/post', files=files)
print(response.status_code)
print(response.text)

这段代码上传一个文件到服务器。

2. 处理重定向

import requests
response = requests.get('http://github.com', allow_redirects=True)
print(response.url)
print(response.status_code)

这段代码处理HTTP重定向，并输出最终的URL。

3. 验证SSL证书

import requests
try:
    response = requests.get('https://expired.badssl.com/', verify=True)
except requests.exceptions.SSLError as e:
    print('SSL Error:', e)

这段代码在发送请求时验证SSL证书。

九、常见问题和解决方法

在使用requests库时，您可能会遇到一些常见问题：

1. 代理设置

如果您需要通过代理服务器发送请求，可以这样设置：

import requests
proxies = {
    'http': 'http://10.10.1.10:3128',
    'https': 'http://10.10.1.10:1080',
}
response = requests.get('http://example.com', proxies=proxies)
print(response.status_code)

2. 超时和重试

设置超时和重试可以提高请求的可靠性：

import requests
from requests.adapters import HTTPAdapter
from requests.packages.urllib3.util.retry import Retry
s = requests.Session()
retries = Retry(total=5, backoff_factor=1, status_forcelist=[502, 503, 504])
s.mount('http://', HTTPAdapter(max_retries=retries))
try:
    response = s.get('http://httpbin.org/status/503', timeout=5)
    print(response.status_code)
except requests.RequestException as e:
    print('Error:', e)

十、`requests`库的高级用法

除了基本的GET和POST请求，requests库还提供了很多高级用法：

1. 自定义适配器

您可以自定义HTTP适配器，以便在请求时应用某些策略：

import requests
from requests.adapters import HTTPAdapter
class CustomHTTPAdapter(HTTPAdapter):
    def __init__(self, *args, kwargs):
        super().__init__(*args, kwargs)
    def send(self, request, kwargs):
        print('Sending request:', request.url)
        return super().send(request, kwargs)
s = requests.Session()
s.mount('http://', CustomHTTPAdapter())
response = s.get('http://httpbin.org/get')
print(response.status_code)

这段代码定义了一个自定义适配器，并在发送请求时打印请求的URL。

2. 流式请求

流式请求适用于下载大文件时分块读取：

import requests
response = requests.get('http://httpbin.org/stream/20', stream=True)
if response.status_code == 200:
    for chunk in response.iter_content(chunk_size=1024):
        print(chunk)

这段代码发送一个流式请求，并分块读取响应内容。