如何从python爬取商品

要从Python爬取商品，可以使用requests库、BeautifulSoup库、Scrapy框架、Selenium库。其中，requests库和BeautifulSoup库适合处理静态网页，而Selenium库适合处理动态网页。具体来说，requests库用来发送HTTP请求，获取网页内容；BeautifulSoup库则用于解析HTML和XML文档，提取所需的数据。Scrapy框架是一个功能强大、适用于大规模爬取的爬虫框架，可以应对复杂的爬取需求。Selenium库则能模拟浏览器操作，适合处理需要执行JavaScript代码的动态网页。以下将详细介绍如何使用这几种工具爬取商品信息。

一、使用Requests库和BeautifulSoup库

1、安装所需的库

首先，你需要安装requests和BeautifulSoup库。可以使用pip命令来安装：

pip install requests pip install beautifulsoup4

2、发送HTTP请求并获取网页内容

使用requests库发送HTTP请求，获取网页的HTML内容：

import requests
url = 'http://example.com/products'
response = requests.get(url)
html_content = response.text

3、解析HTML内容并提取数据

使用BeautifulSoup库解析HTML内容，并提取商品信息：

from bs4 import BeautifulSoup
soup = BeautifulSoup(html_content, 'html.parser')
product_list = soup.find_all('div', class_='product')
for product in product_list:
    product_name = product.find('h2').text
    product_price = product.find('span', class_='price').text
    print(f'Product Name: {product_name}, Price: {product_price}')

4、示例代码

以下是一个完整的示例代码，展示了如何使用requests和BeautifulSoup库爬取商品信息：

import requests
from bs4 import BeautifulSoup
url = 'http://example.com/products'
response = requests.get(url)
html_content = response.text
soup = BeautifulSoup(html_content, 'html.parser')
product_list = soup.find_all('div', class_='product')
for product in product_list:
    product_name = product.find('h2').text
    product_price = product.find('span', class_='price').text
    print(f'Product Name: {product_name}, Price: {product_price}')

二、使用Scrapy框架

1、安装Scrapy框架

首先，你需要安装Scrapy框架。可以使用pip命令来安装：

pip install scrapy

2、创建Scrapy项目

使用Scrapy命令创建一个新的Scrapy项目：

scrapy startproject myproject

3、定义Item类

在items.py文件中定义一个Item类，用于存储爬取到的商品信息：

import scrapy
class ProductItem(scrapy.Item):
    name = scrapy.Field()
    price = scrapy.Field()

4、创建Spider

在spiders目录下创建一个新的Spider类，用于定义爬取逻辑：

import scrapy
from myproject.items import ProductItem
class ProductSpider(scrapy.Spider):
    name = 'product'
    start_urls = ['http://example.com/products']
    def parse(self, response):
        for product in response.css('div.product'):
            item = ProductItem()
            item['name'] = product.css('h2::text').get()
            item['price'] = product.css('span.price::text').get()
            yield item

5、运行Spider

使用Scrapy命令运行Spider，开始爬取商品信息：

scrapy crawl product

三、使用Selenium库

1、安装Selenium库

首先，你需要安装Selenium库。可以使用pip命令来安装：

pip install selenium

2、下载浏览器驱动

Selenium需要一个浏览器驱动程序来与浏览器进行交互。以Chrome浏览器为例，你需要下载ChromeDriver，并将其路径添加到系统环境变量中。

3、使用Selenium爬取商品信息

使用Selenium库打开网页，获取商品信息：

from selenium import webdriver
from selenium.webdriver.common.by import By
driver = webdriver.Chrome()
driver.get('http://example.com/products')
product_list = driver.find_elements(By.CLASS_NAME, 'product')
for product in product_list:
    product_name = product.find_element(By.TAG_NAME, 'h2').text
    product_price = product.find_element(By.CLASS_NAME, 'price').text
    print(f'Product Name: {product_name}, Price: {product_price}')
driver.quit()

4、示例代码

以下是一个完整的示例代码，展示了如何使用Selenium库爬取商品信息：

from selenium import webdriver
from selenium.webdriver.common.by import By
driver = webdriver.Chrome()
driver.get('http://example.com/products')
product_list = driver.find_elements(By.CLASS_NAME, 'product')
for product in product_list:
    product_name = product.find_element(By.TAG_NAME, 'h2').text
    product_price = product.find_element(By.CLASS_NAME, 'price').text
    print(f'Product Name: {product_name}, Price: {product_price}')
driver.quit()

四、处理反爬机制

1、使用代理IP

为了避免IP被封禁，可以使用代理IP来发送HTTP请求。可以通过requests库设置代理IP：

proxies = {
    'http': 'http://10.10.1.10:3128',
    'https': 'http://10.10.1.10:1080',
}
response = requests.get(url, proxies=proxies)

2、设置请求头

为了避免被识别为爬虫，可以设置请求头，模拟真实的浏览器请求：

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}
response = requests.get(url, headers=headers)

3、使用随机延时

为了避免频繁请求导致被封禁，可以在每次请求之间添加随机延时：

import time
import random
time.sleep(random.uniform(1, 3))

4、处理验证码

有些网站会使用验证码来防止爬虫，可以使用第三方验证码识别服务来处理验证码，例如图像识别、打码平台等。

五、存储爬取数据

1、存储到CSV文件

可以使用Python的csv模块将爬取到的数据存储到CSV文件：

import csv
with open('products.csv', 'w', newline='') as csvfile:
    fieldnames = ['name', 'price']
    writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
    writer.writeheader()
    for product in product_list:
        writer.writerow({'name': product_name, 'price': product_price})

2、存储到数据库

可以使用Python的数据库库将爬取到的数据存储到数据库，例如SQLite、MySQL等。以下是一个将数据存储到SQLite数据库的示例代码：

import sqlite3
conn = sqlite3.connect('products.db')
c = conn.cursor()
c.execute('''CREATE TABLE products
             (name text, price text)''')
for product in product_list:
    c.execute("INSERT INTO products (name, price) VALUES (?, ?)", (product_name, product_price))
conn.commit()
conn.close()

3、存储到JSON文件

可以使用Python的json模块将爬取到的数据存储到JSON文件：

import json
with open('products.json', 'w') as jsonfile:
    json.dump(product_list, jsonfile)

六、处理动态网页

1、使用Selenium处理动态网页

Selenium库可以处理需要执行JavaScript代码的动态网页。例如，爬取一个需要滚动加载更多商品信息的页面：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
driver = webdriver.Chrome()
driver.get('http://example.com/products')
模拟滚动加载更多商品
for _ in range(5):
    driver.find_element(By.TAG_NAME, 'body').send_keys(Keys.END)
    time.sleep(2)
product_list = driver.find_elements(By.CLASS_NAME, 'product')
for product in product_list:
    product_name = product.find_element(By.TAG_NAME, 'h2').text
    product_price = product.find_element(By.CLASS_NAME, 'price').text
    print(f'Product Name: {product_name}, Price: {product_price}')
driver.quit()

2、使用Scrapy-Splash处理动态网页

Scrapy-Splash是Scrapy的一个扩展，可以用来处理需要执行JavaScript代码的动态网页。首先，你需要安装Scrapy-Splash：

pip install scrapy-splash

然后，在settings.py文件中进行配置：

SPLASH_URL = 'http://localhost:8050' DOWNLOADER_MIDDLEWARES = { 'scrapy_splash.SplashCookiesMiddleware': 723, 'scrapy_splash.SplashMiddleware': 725, 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 810, } SPIDER_MIDDLEWARES = { 'scrapy_splash.SplashDeduplicateArgsMiddleware': 100, } DUPEFILTER_CLASS = 'scrapy_splash.SplashAwareDupeFilter' HTTPCACHE_STORAGE = 'scrapy_splash.SplashAwareFSCacheStorage'

在spiders目录下创建一个新的Spider类，使用SplashRequest发送请求：

import scrapy
from scrapy_splash import SplashRequest
from myproject.items import ProductItem
class ProductSpider(scrapy.Spider):
    name = 'product'
    start_urls = ['http://example.com/products']
    def start_requests(self):
        for url in self.start_urls:
            yield SplashRequest(url, self.parse, args={'wait': 2})
    def parse(self, response):
        for product in response.css('div.product'):
            item = ProductItem()
            item['name'] = product.css('h2::text').get()
            item['price'] = product.css('span.price::text').get()
            yield item

七、处理反爬机制