python如何爬取json

要在Python中爬取JSON数据，你需要使用库如requests获取数据、使用json解析数据、处理异常和遵循API使用规定。首先，使用requests库发送HTTP请求获取数据；其次，利用json库解析响应内容；最后，处理异常并遵守API使用规定。

在详细描述中，我们以使用requests和json库为例。首先，安装requests库，这可以通过在命令行中运行pip install requests来完成。获取数据时，使用requests.get(url)发送GET请求，然后通过response.json()方法将响应内容解析为Python字典或列表。确保处理HTTP错误，如404或500错误，使用try-except块捕获异常。此外，许多API服务有请求限制，因此务必阅读并遵循API文档中的使用规定。

一、安装与准备

在开始爬取JSON数据之前，首先需要确保你的Python环境中安装了所需的库。主要的库有requests和json。requests库用于发送HTTP请求，而json库用于解析JSON格式的数据。

安装requests库

在命令行中，输入以下命令来安装requests库：
```
pip install requests
```
requests库是一个非常流行的HTTP请求库，能够帮助我们轻松地与网络上的资源进行交互。
检查Python环境

确保你的Python环境正常工作，可以通过以下命令检查Python和pip的版本：
```
python --version
pip --version
```
确认Python和pip的版本后，便可以开始编写代码。

二、请求数据

在获取JSON数据时，首先需要向目标服务器发送HTTP请求。通常，这些请求是GET请求，但具体的请求方式取决于API的设计。

发送GET请求

使用requests库发送GET请求，以获取JSON数据。例如：
```
import requests
url = "https://api.example.com/data"
response = requests.get(url)
```
在上述代码中，url变量存储了API的URL地址。调用requests.get(url)方法后，服务器会返回一个HTTP响应，该响应包含了我们需要的JSON数据。
检查响应状态

在处理响应之前，检查HTTP状态码，以确保请求成功。通常，状态码200表示请求成功。
```
if response.status_code == 200:
    print("Request successful")
else:
    print(f"Request failed with status code {response.status_code}")
```
如果请求失败，通常会返回4xx或5xx的状态码。这时，应该检查API文档，了解失败的具体原因。

三、解析JSON数据

收到响应后，接下来需要解析JSON数据。requests库提供了便利的方法，将响应内容解析为Python对象。

解析JSON响应

使用response.json()方法，将JSON格式的响应内容解析为Python字典或列表：
```
data = response.json()
print(data)
```
这种方法将JSON字符串转换为Python对象，方便后续的数据处理。
处理解析错误

在解析JSON数据时，可能会遇到解析错误。例如，当响应内容不是有效的JSON格式时，就会抛出异常。可以使用try-except块来捕获并处理这些异常：
```
try:
    data = response.json()
except ValueError as e:
    print(f"Error parsing JSON: {e}")
```
通过捕获异常，可以避免程序崩溃，并记录错误信息以便后续排查。

四、处理异常

在与网络资源交互时，经常会遇到各种异常情况，因此需要做好异常处理，以提高程序的健壮性。

捕获请求异常

requests库提供了一些内置的异常类，用于处理请求过程中可能出现的错误。例如，requests.exceptions.RequestException是一个通用的异常类，涵盖了所有的请求异常。

try:
    response = requests.get(url)
    response.raise_for_status()  # 检查HTTP错误
except requests.exceptions.HTTPError as errh:
    print(f"Http Error: {errh}")
except requests.exceptions.ConnectionError as errc:
    print(f"Error Connecting: {errc}")
except requests.exceptions.Timeout as errt:
    print(f"Timeout Error: {errt}")
except requests.exceptions.RequestException as err:
    print(f"Request Exception: {err}")

通过捕获这些异常，可以在出现错误时给出适当的响应，而不是让程序崩溃。

使用超时参数

在请求过程中，可能会因为网络问题导致请求长时间未响应。可以通过设置超时参数，避免请求无限期地等待：
```
response = requests.get(url, timeout=10)
```
这样，如果请求超过10秒仍未完成，程序就会抛出一个requests.exceptions.Timeout异常。

五、遵循API使用规定

在爬取JSON数据时，必须遵循API的使用规定。这些规定通常在API文档中详细描述，违反规定可能会导致IP被封禁或API密钥失效。

了解API文档

在使用API之前，仔细阅读其文档。文档中通常包含了API的使用方法、请求格式、响应格式、错误代码等信息。
尊重请求限制

许多API对请求频率做出了限制。例如，每分钟最多请求60次。为了避免请求过多，可以在请求之间添加延迟：
```
import time
for i in range(10):
    response = requests.get(url)
    time.sleep(1)  # 延迟1秒
```
通过添加延迟，可以有效避免超过请求限制。
使用API密钥

某些API需要使用API密钥进行身份验证。API密钥通常通过HTTP头部或查询参数传递。在使用API密钥时，确保其安全性，不要将密钥暴露在公开的代码库中。

六、示例应用

通过以上步骤，我们可以创建一个简单的应用，爬取JSON数据并进行处理。以下是一个完整的示例，展示如何获取、解析和处理JSON数据。

import requests
import json
def fetch_data(url):
    try:
        response = requests.get(url, timeout=10)
        response.raise_for_status()
        return response.json()
    except requests.exceptions.RequestException as e:
        print(f"Request failed: {e}")
    except ValueError as e:
        print(f"Error parsing JSON: {e}")
    return None
def process_data(data):
    # 假设数据是一个列表
    if isinstance(data, list):
        for item in data:
            print(item)
    else:
        print("Unexpected data format")
def main():
    url = "https://api.example.com/data"
    data = fetch_data(url)
    if data:
        process_data(data)
if __name__ == "__main__":
    main()