如何用python制作爬虫

如何用Python制作爬虫

用Python制作爬虫的基本步骤包括：选择合适的库、设置请求头以模拟浏览器、解析HTML内容、处理数据、存储数据。 其中，选择合适的库是关键，可以使用如BeautifulSoup、Scrapy和Requests等库。在此基础上，详细描述请求头的设置。请求头的设置可以帮助我们模拟浏览器访问目标网站，从而避免被网站识别为爬虫而导致的访问拒绝。通过在请求中添加常见的浏览器头信息，如User-Agent，可以有效提高爬虫的成功率。

一、选择合适的库

Python为爬虫提供了许多功能强大的库，每个库都有其独特的优势和适用场景。

1. Requests库

Requests是一个简洁且人性化的HTTP库，适合初学者使用。它能够轻松地发送HTTP请求，并自动处理响应。

使用场景：适用于小型爬虫项目，或需要快速验证网页响应的场合。
优点：简单易用、文档丰富、社区活跃。
缺点：对于需要并发请求的场景，性能可能不够高。

2. BeautifulSoup库

BeautifulSoup是一个用于解析HTML和XML文档的Python库。它能够以Pythonic的方式提取、导航和修改网页内容。

使用场景：适用于需要对HTML文档进行复杂解析和处理的场合。
优点：语法简洁、易于上手，能够处理不规范的HTML代码。
缺点：解析速度较慢，对于大型网页可能效率不高。

3. Scrapy框架

Scrapy是一个用于大规模抓取数据的爬虫框架。它内置了强大的爬虫管理和数据处理功能。

使用场景：适用于需要抓取大量数据或复杂网站结构的场合。
优点：高效的并发请求、强大的数据处理管道、内置的爬虫管理。
缺点：学习曲线较陡，不适合简单的爬虫任务。

二、设置请求头以模拟浏览器

为了避免被网站识别为爬虫并禁止访问，我们需要在请求中添加模拟浏览器的头信息。

1. User-Agent

User-Agent是请求头中最重要的字段之一，用于标识请求来源的浏览器和操作系统。通过设置合适的User-Agent，可以有效提高爬虫的伪装性。

示例代码：

import requests
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}
response = requests.get('http://example.com', headers=headers)

2. Referer

Referer字段用于指明请求的来源页面，有时网站会检查Referer以确定请求的合法性。

示例代码：

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3',
    'Referer': 'http://example.com'
}
response = requests.get('http://example.com', headers=headers)

三、解析HTML内容

在获取到网页的HTML内容后，解析是爬虫的关键步骤。解析的目标是从HTML中提取出所需的数据。

1. 使用BeautifulSoup解析HTML

BeautifulSoup提供了多种查找和过滤HTML元素的方法，能够高效地提取所需信息。

示例代码：

from bs4 import BeautifulSoup
html_content = response.text
soup = BeautifulSoup(html_content, 'html.parser')
查找所有的链接
links = soup.find_all('a')
for link in links:
    print(link.get('href'))

2. 使用正则表达式提取数据

在某些场景下，正则表达式能够快速有效地提取复杂格式的数据。

示例代码：

import re
假设我们想提取所有的邮箱地址
emails = re.findall(r'[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}', html_content)
for email in emails:
    print(email)

四、处理数据

在数据提取之后，通常需要对数据进行清洗和加工，以便后续的存储和分析。

1. 数据清洗

数据清洗的目的是去除多余的信息和不规范的数据格式，使数据更加整洁。

示例代码：

# 去除多余的空格和换行符
clean_data = [data.strip() for data in raw_data if data.strip()]

2. 数据转换

数据转换包括数据类型的转换、单位的转换等，以便于后续的存储和计算。

示例代码：

# 将价格字符串转换为浮点数
prices = [float(price.replace('$', '')) for price in price_strings]

五、存储数据

数据存储是爬虫的最后一步，根据项目需求，可以选择不同的存储方式。

1. 存储到CSV文件

CSV文件是一种简单而通用的数据存储格式，适合小规模的数据集。

示例代码：

import csv
with open('data.csv', mode='w', newline='', encoding='utf-8') as file:
    writer = csv.writer(file)
    writer.writerow(['Name', 'Price', 'Link'])
    for item in data:
        writer.writerow([item['name'], item['price'], item['link']])

2. 存储到数据库

对于大规模或复杂的数据集，可以选择将数据存储到数据库中，如MySQL、MongoDB等。

示例代码（MySQL）：

import mysql.connector
connection = mysql.connector.connect(
    host='localhost',
    user='user',
    password='password',
    database='database'
)
cursor = connection.cursor()
假设有一个表名为products
add_product = ("INSERT INTO products "
               "(name, price, link) "
               "VALUES (%s, %s, %s)")
for item in data:
    product_data = (item['name'], item['price'], item['link'])
    cursor.execute(add_product, product_data)
connection.commit()
cursor.close()
connection.close()

3. 使用Scrapy自带的Item Pipeline

如果使用Scrapy框架，可以利用其自带的Item Pipeline功能，轻松实现数据的清洗和存储。

示例代码：

class MyPipeline(object):
    def process_item(self, item, spider):
        # 数据清洗逻辑
        item['price'] = float(item['price'].replace('$', ''))
        return item
    def open_spider(self, spider):
        # 打开数据库连接
        pass
    def close_spider(self, spider):
        # 关闭数据库连接
        pass