如何用python爬取机票价格

Python 爬取机票价格的方法包括：使用Requests库进行网页请求、使用BeautifulSoup库解析HTML、使用Selenium进行动态网页数据获取、使用第三方API获取数据。 其中，使用Requests和BeautifulSoup是最基本的方法，适用于静态网页的数据抓取；而对于动态加载的网页，Selenium是一个强有力的工具，因为它可以模拟浏览器操作；另外，使用第三方API是最为便捷和稳定的方法，但需要找到合适的API并申请相应的权限。接下来，我们详细介绍每种方法的具体实现。

一、使用Requests和BeautifulSoup

Requests和BeautifulSoup是Python中最常用的两个库，分别用于发送HTTP请求和解析HTML内容。适用于静态网页的数据抓取。

安装依赖库

pip install requests pip install beautifulsoup4

发送HTTP请求

首先，我们使用Requests库发送HTTP请求来获取网页内容。

import requests
url = 'https://example.com/flights'
response = requests.get(url)
if response.status_code == 200:
    html_content = response.text
else:
    print("Failed to retrieve the webpage")

解析HTML内容

使用BeautifulSoup解析HTML内容，提取机票价格信息。

from bs4 import BeautifulSoup
soup = BeautifulSoup(html_content, 'html.parser')
prices = soup.find_all('span', class_='price')
for price in prices:
    print(price.get_text())

二、使用Selenium进行动态网页数据获取

有些网页的数据是通过JavaScript动态加载的，使用Requests和BeautifulSoup无法直接获取到。这时，我们可以使用Selenium来模拟浏览器操作，获取动态内容。

安装依赖库

pip install selenium pip install webdriver-manager

设置WebDriver

from selenium import webdriver
from webdriver_manager.chrome import ChromeDriverManager
driver = webdriver.Chrome(ChromeDriverManager().install())

访问网页并提取数据

url = 'https://example.com/flights'
driver.get(url)
等待页面加载完成
driver.implicitly_wait(10)
提取价格信息
prices = driver.find_elements_by_class_name('price')
for price in prices:
    print(price.text)
driver.quit()

三、使用第三方API获取数据

使用第三方API获取机票价格信息是最为便捷和稳定的方法。API通常提供结构化的数据，可以直接解析和使用。

选择合适的API

首先，需要找到一个提供机票价格信息的API。常见的API包括Skyscanner、Kayak、和Google Flights等。

使用API获取数据

以下是一个使用Skyscanner API获取机票价格的示例：

import requests
api_url = 'https://partners.api.skyscanner.net/apiservices/browseroutes/v1.0/US/USD/en-US/SFO-sky/ORD-sky/2023-10-01'
headers = {
    'apikey': 'YOUR_API_KEY'
}
response = requests.get(api_url, headers=headers)
if response.status_code == 200:
    data = response.json()
    for route in data['Routes']:
        print(route['Price'])
else:
    print("Failed to retrieve data from the API")

四、处理和分析数据

无论使用哪种方法获取到机票价格数据，我们都需要对数据进行处理和分析，以便获得有用的信息。

数据存储

可以将获取到的数据存储在本地文件或数据库中，以便后续处理和分析。

import json
with open('flight_prices.json', 'w') as file:
    json.dump(data, file)

或者将数据存储在数据库中：

import sqlite3
conn = sqlite3.connect('flight_prices.db')
c = conn.cursor()
创建表
c.execute('''CREATE TABLE IF NOT EXISTS prices
             (date text, origin text, destination text, price real)''')
插入数据
for route in data['Routes']:
    c.execute("INSERT INTO prices VALUES (?, ?, ?, ?)",
              (route['Date'], route['Origin'], route['Destination'], route['Price']))
conn.commit()
conn.close()

数据分析

可以使用Pandas进行数据分析，找出价格趋势、最便宜的航班等信息。

import pandas as pd
df = pd.read_json('flight_prices.json')
找出最便宜的航班
cheapest_flight = df.loc[df['price'].idxmin()]
print("Cheapest flight:")
print(cheapest_flight)

五、优化和自动化

为了提高效率，可以对爬虫进行优化和自动化处理。

优化爬虫

可以通过设置合理的请求头、使用代理和设置适当的延迟来优化爬虫，避免被目标网站封禁。

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)

使用代理：

proxies = {
    'http': 'http://10.10.1.10:3128',
    'https': 'http://10.10.1.10:1080',
}
response = requests.get(url, headers=headers, proxies=proxies)