如何利用python爬取js加载数据

利用Python爬取JS加载数据的方法有：使用Selenium模拟浏览器、使用requests和BeautifulSoup结合浏览器开发者工具分析、使用Pyppeteer、借助API接口、使用Scrapy结合Splash。其中，使用Selenium模拟浏览器 是一种较为常见且有效的方法。Selenium 是一个强大的工具，可以通过控制浏览器来获取动态加载的数据。

一、使用Selenium模拟浏览器

Selenium是一个强大的工具，可以通过控制浏览器来获取动态加载的数据。使用Selenium，我们可以编写脚本来自动化浏览器操作，加载页面并提取所需数据。

安装Selenium和浏览器驱动

首先，我们需要安装Selenium库和浏览器驱动。以Chrome浏览器为例，需要安装ChromeDriver。

pip install selenium

然后，下载相应版本的ChromeDriver并将其路径添加到系统的环境变量中。

编写Selenium脚本

接下来，编写Selenium脚本来加载页面并提取数据。例如，以下是一个简单的示例代码：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
初始化Chrome浏览器
driver = webdriver.Chrome()
打开目标网页
driver.get("https://example.com")
等待页面加载完成
wait = WebDriverWait(driver, 10)
wait.until(EC.presence_of_element_located((By.ID, "data-container")))
提取数据
data = driver.find_element(By.ID, "data-container").text
print(data)
关闭浏览器
driver.quit()

在上述示例中，我们使用Selenium打开目标网页，并等待页面加载完成后，提取指定元素中的数据。

二、使用requests和BeautifulSoup结合浏览器开发者工具分析

有些情况下，通过分析网页的请求，可以直接使用requests库获取数据，而不需要模拟浏览器。

分析网页请求

使用浏览器的开发者工具（如Chrome的开发者工具），可以分析网页在加载数据时发出的请求。找到数据请求的URL和参数。

编写requests脚本

根据分析结果，编写requests脚本来发送请求并获取数据。例如：

import requests
from bs4 import BeautifulSoup
发送请求
response = requests.get("https://example.com/data-endpoint")
解析响应
soup = BeautifulSoup(response.content, 'html.parser')
data = soup.find(id="data-container").text
print(data)

在上述示例中，我们发送请求到数据端点，并使用BeautifulSoup解析响应内容，提取数据。

三、使用Pyppeteer

Pyppeteer是Puppeteer的Python版本，可以用于控制无头浏览器（headless browser）来获取动态加载的数据。

安装Pyppeteer

首先，安装Pyppeteer库：

pip install pyppeteer

编写Pyppeteer脚本

编写Pyppeteer脚本来加载页面并提取数据。例如：

import asyncio
from pyppeteer import launch
async def main():
    # 启动无头浏览器
    browser = await launch()
    page = await browser.newPage()
    # 打开目标网页
    await page.goto("https://example.com")
    # 等待页面加载完成
    await page.waitForSelector("#data-container")
    # 提取数据
    data = await page.evaluate('''() => {
        return document.querySelector('#data-container').innerText;
    }''')
    print(data)
    # 关闭浏览器
    await browser.close()
执行脚本
asyncio.get_event_loop().run_until_complete(main())

在上述示例中，我们使用Pyppeteer控制无头浏览器打开目标网页，并等待页面加载完成后，提取指定元素中的数据。

四、借助API接口

有些网站提供了公开的API接口，可以直接通过API获取数据，而不需要解析网页内容。通过API接口获取数据通常更高效和可靠。

查找API接口

使用浏览器的开发者工具，查找网页在加载数据时调用的API接口。通常，可以在Network选项卡中找到相关请求。

编写API请求脚本

根据API接口文档，编写脚本发送请求并获取数据。例如：

import requests
发送API请求
response = requests.get("https://api.example.com/data")
解析响应
data = response.json()
print(data)

在上述示例中，我们发送请求到API接口，并解析响应中的JSON数据。

五、使用Scrapy结合Splash

Scrapy是一个用于网络爬虫和网页抓取的框架，而Splash是一个JavaScript渲染服务，可以结合使用来抓取动态加载的数据。

安装Scrapy和Splash

首先，安装Scrapy和Splash库：

pip install scrapy pip install scrapy-splash

配置Scrapy项目

在Scrapy项目中，配置settings.py文件，添加Splash相关配置：

# settings.py SPLASH_URL = 'http://localhost:8050' DOWNLOADER_MIDDLEWARES = { 'scrapy_splash.SplashCookiesMiddleware': 723, 'scrapy_splash.SplashMiddleware': 725, 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 810, } SPIDER_MIDDLEWARES = { 'scrapy_splash.SplashDeduplicateArgsMiddleware': 100, } DUPEFILTER_CLASS = 'scrapy_splash.SplashAwareDupeFilter' HTTPCACHE_STORAGE = 'scrapy_splash.SplashAwareFSCacheStorage'

编写Scrapy爬虫

编写Scrapy爬虫，使用SplashRequest来加载页面并提取数据。例如：

import scrapy
from scrapy_splash import SplashRequest
class ExampleSpider(scrapy.Spider):
    name = 'example'
    start_urls = ['https://example.com']
    def start_requests(self):
        for url in self.start_urls:
            yield SplashRequest(url, self.parse, args={'wait': 2})
    def parse(self, response):
        data = response.css('#data-container::text').get()
        self.log(data)