python如何爬取get

使用Python爬取GET请求的方法包括：使用requests库发送GET请求、解析HTML数据、处理Cookies和Headers、使用BeautifulSoup解析网页。其中，使用requests库发送GET请求是最基础的步骤，我们可以通过它与目标网站进行通信并获取数据。这里详细介绍一下如何使用requests库发送GET请求。

使用requests库发送GET请求非常简单，只需引入requests模块，并使用requests.get(url)方法，传入目标URL即可。以下是一个简单的示例：

import requests
url = 'http://example.com'
response = requests.get(url)
print(response.text)

在这个示例中，我们首先引入了requests模块，然后定义了一个目标URL。接着，我们使用requests.get(url)方法发送了一个GET请求，并将返回的响应存储在变量response中。最后，我们通过response.text获取响应的文本内容并输出。

一、使用REQUESTS库爬取GET请求

使用requests库是进行HTTP请求的基础方法，能够帮助我们轻松获取网页内容。

1. 安装和导入requests库

首先，我们需要确保安装了requests库。可以通过以下命令安装：

pip install requests

然后，在Python脚本中导入requests库：

import requests

2. 发送GET请求

使用requests库发送GET请求非常简单。以下是一个示例：

url = 'http://example.com'
response = requests.get(url)
print(response.status_code)  # 输出响应状态码
print(response.text)         # 输出网页内容

在这个示例中，我们发送了一个GET请求，并输出了响应的状态码和网页内容。

3. 处理请求头信息

有时候，我们需要在请求中添加一些头信息（headers），例如User-Agent、Cookies等。可以通过以下方式实现：

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}
response = requests.get(url, headers=headers)

通过在requests.get()方法中传入headers参数，我们可以自定义请求头信息。

二、解析HTML数据

获取到网页内容后，我们通常需要从中提取有用的数据。Python中常用的解析库是BeautifulSoup。

1. 安装和导入BeautifulSoup

可以通过以下命令安装BeautifulSoup：

pip install beautifulsoup4

然后，在Python脚本中导入：

from bs4 import BeautifulSoup

2. 解析网页内容

使用BeautifulSoup解析网页内容非常简单。以下是一个示例：

soup = BeautifulSoup(response.text, 'html.parser')
提取所有链接
links = soup.find_all('a')
for link in links:
    print(link.get('href'))

在这个示例中，我们使用BeautifulSoup解析了网页内容，然后提取了所有的链接。

三、处理Cookies和Headers

在进行某些请求时，我们可能需要处理Cookies和Headers，以便模拟浏览器行为。

1. 处理Cookies

可以使用requests库中的Session对象来处理Cookies：

session = requests.Session()
session.get(url)  # 第一次请求，获取Cookies
进行后续请求，Cookies会自动处理
response = session.get('http://example.com/next_page')

使用Session对象可以在多个请求之间保持会话状态。

2. 自定义Headers

前面已经提到如何自定义请求头信息，可以根据需要添加或修改Headers：

headers = {
    'User-Agent': '自定义User-Agent信息',
    'Referer': 'http://example.com'
}
response = requests.get(url, headers=headers)

自定义Headers可以帮助我们模拟真实浏览器行为，避免被网站识别为爬虫。

四、处理分页和动态加载

在进行网页爬取时，常常会遇到分页和动态加载的问题。

1. 处理分页

许多网站的数据是通过分页加载的，我们需要通过循环请求不同页码的URL来获取完整数据。例如：

for page in range(1, 11):
    url = f'http://example.com/page={page}'
    response = requests.get(url)
    # 解析和处理数据

通过构造分页URL并循环请求，可以获取所有分页数据。

2. 处理动态加载

有些网站使用JavaScript动态加载内容，这种情况下，我们可能需要使用Selenium等工具来模拟浏览器环境。

from selenium import webdriver
driver = webdriver.Chrome()  # 需要下载ChromeDriver
driver.get('http://example.com')
等待页面加载完成
driver.implicitly_wait(10)
获取页面内容
html = driver.page_source
关闭浏览器
driver.quit()

使用Selenium可以模拟浏览器行为，获取动态加载的数据。

五、错误处理和优化

在进行网络请求时，可能会遇到各种错误，如请求超时、连接错误等。我们需要进行错误处理和优化。

1. 错误处理

可以使用try-except结构来处理请求中的错误：

try:
    response = requests.get(url, timeout=10)
except requests.RequestException as e:
    print(f'请求错误：{e}')

通过这种方式，我们可以捕获并处理各种请求错误。

2. 优化请求

为了提高爬虫效率和稳定性，我们可以进行一些优化，如设置请求超时、使用代理等：

proxies = {
    'http': 'http://10.10.1.10:3128',
    'https': 'http://10.10.1.10:1080'
}
response = requests.get(url, proxies=proxies, timeout=5)

使用代理可以避免IP被封，同时设置超时可以避免请求长时间挂起。

六、数据存储

在提取到有用数据后，我们通常需要将其存储到本地或数据库中。

1. 存储到本地文件

可以将数据存储到文本文件或CSV文件中：

with open('data.txt', 'w') as f:
    f.write(response.text)

2. 存储到数据库

可以使用Python的数据库连接库将数据存储到数据库中：

import sqlite3
conn = sqlite3.connect('example.db')
c = conn.cursor()
创建表
c.execute('''CREATE TABLE data (id INTEGER PRIMARY KEY, content TEXT)''')
插入数据
c.execute("INSERT INTO data (content) VALUES (?)", (response.text,))
conn.commit()
conn.close()