python如何编写网络爬虫

编写Python网络爬虫需要使用一些专门的库和工具，例如Requests、BeautifulSoup、Scrapy、Selenium等。使用Requests库发送HTTP请求、BeautifulSoup解析HTML、Scrapy框架构建复杂爬虫、Selenium处理动态内容。选择合适的工具、遵守网站爬取规则、处理反爬虫机制、数据存储和清洗是编写网络爬虫的关键。

选择合适的工具

选择合适的工具是编写有效网络爬虫的第一步。不同的工具适用于不同的需求：

Requests：用于发送HTTP请求，获取网页内容，适合简单的爬虫任务。
BeautifulSoup：用于解析HTML和XML文档，提取数据，适合静态页面爬取。
Scrapy：一个功能强大的爬虫框架，适合复杂的爬虫项目，提供了诸如高效的数据抓取、异步处理、数据存储等功能。
Selenium：用于处理JavaScript生成的动态内容，通过模拟浏览器行为来抓取数据。

例如，使用Requests和BeautifulSoup编写一个简单爬虫：

import requests
from bs4 import BeautifulSoup
url = 'http://example.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
data = soup.find_all('div', class_='example-class')
for item in data:
    print(item.get_text())

遵守网站爬取规则

在编写网络爬虫时，必须遵守网站的爬取规则，例如robots.txt文件中的指示和网站的使用条款。robots.txt文件规定了哪些部分可以被爬取，哪些部分不能被爬取。忽略这些规则可能会导致法律问题或被网站封禁IP。

from urllib.robotparser import RobotFileParser
rp = RobotFileParser()
rp.set_url('http://example.com/robots.txt')
rp.read()
url = 'http://example.com/some-page'
if rp.can_fetch('*', url):
    response = requests.get(url)
    # Process the response
else:
    print("Crawling not allowed for this URL")

处理反爬虫机制

许多网站使用反爬虫机制来防止大量的自动化请求，例如使用CAPTCHA、IP封锁、User-Agent检测等。以下是一些处理反爬虫机制的方法：

随机更换User-Agent：通过随机更换User-Agent伪装成不同的浏览器。
使用代理：通过代理IP发送请求，避免IP封锁。
模拟人类行为：在请求之间加入随机的延时，模拟人类的浏览行为。

import requests
from bs4 import BeautifulSoup
import time
import random
user_agents = [
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3', 
    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.3',
    # Add more user agents as needed
]
url = 'http://example.com'
headers = {'User-Agent': random.choice(user_agents)}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
data = soup.find_all('div', class_='example-class')
for item in data:
    print(item.get_text())
    time.sleep(random.uniform(1, 3))  # Random delay between requests

数据存储和清洗

获取的数据需要进行清洗和存储。数据清洗包括处理缺失值、去重、格式化等。常用的数据存储方式包括CSV文件、数据库（如MySQL、MongoDB）、JSON文件等。

例如，将数据存储到CSV文件：

import csv
data = [
    ['Name', 'Age', 'City'],
    ['Alice', 25, 'New York'],
    ['Bob', 30, 'Los Angeles'],
]
with open('output.csv', 'w', newline='') as file:
    writer = csv.writer(file)
    writer.writerows(data)

将数据存储到MongoDB：

from pymongo import MongoClient
client = MongoClient('localhost', 27017)
db = client['example_database']
collection = db['example_collection']
data = {'name': 'Alice', 'age': 25, 'city': 'New York'}
collection.insert_one(data)

实战案例：爬取豆瓣电影TOP250

下面是一个完整的实战案例，展示如何使用Requests和BeautifulSoup爬取豆瓣电影TOP250数据，并将数据存储到CSV文件中。

import requests
from bs4 import BeautifulSoup
import csv
import time
import random
def get_movie_data(url):
    headers = {
        'User-Agent': random.choice(user_agents)
    }
    response = requests.get(url, headers=headers)
    soup = BeautifulSoup(response.text, 'html.parser')
    movies = soup.find_all('div', class_='item')
    movie_data = []
    for movie in movies:
        title = movie.find('span', class_='title').get_text()
        director = movie.find('p').get_text().split('\n')[1].strip().split(' ')[1]
        year = movie.find('p').get_text().split('\n')[1].strip().split(' ')[-2]
        rating = movie.find('span', class_='rating_num').get_text()
        movie_data.append([title, director, year, rating])
    return movie_data
def save_to_csv(data, filename):
    with open(filename, 'w', newline='', encoding='utf-8') as file:
        writer = csv.writer(file)
        writer.writerow(['Title', 'Director', 'Year', 'Rating'])
        writer.writerows(data)
if __name__ == '__main__':
    url = 'https://movie.douban.com/top250'
    user_agents = [
        'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3', 
        'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.3',
        # Add more user agents as needed
    ]
    all_movie_data = []
    for i in range(10):
        page_url = f'{url}?start={i * 25}'
        movie_data = get_movie_data(page_url)
        all_movie_data.extend(movie_data)
        time.sleep(random.uniform(1, 3))  # Random delay between requests
    save_to_csv(all_movie_data, 'douban_top250.csv')
    print("Data has been successfully saved to douban_top250.csv")