如何用python爬取百度文章

如何用Python爬取百度文章

使用Python爬取百度文章涉及多个步骤，包括发送请求、解析网页、处理数据等。使用requests库发送HTTP请求、使用BeautifulSoup解析HTML文档、处理反爬机制等是关键步骤。以下将详细介绍如何用Python实现这些步骤。

一、使用requests库发送HTTP请求

在进行网页爬取时，首先要发送HTTP请求获取网页内容。requests库是Python中最常用的HTTP请求库之一。它简单易用，功能强大。

import requests
url = 'https://www.baidu.com/s?wd=Python'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
}
response = requests.get(url, headers=headers)
if response.status_code == 200:
    print(response.text)
else:
    print('Failed to retrieve the webpage')

在上述代码中，我们通过requests.get方法发送HTTP GET请求，并通过headers参数伪装成浏览器以避免被反爬虫机制识别。若请求成功，返回的网页内容将保存在response.text中。

二、使用BeautifulSoup解析HTML文档

获取网页内容后，需要解析HTML文档以提取所需信息。BeautifulSoup是一个非常方便的HTML解析库。

from bs4 import BeautifulSoup
soup = BeautifulSoup(response.text, 'html.parser')

通过BeautifulSoup对象，可以方便地查找和提取HTML文档中的元素。

三、处理反爬机制

百度等大型网站通常都有反爬机制，如IP封禁、验证码等。以下是几种常见的反爬措施及应对方法：

设置请求头：在请求头中添加User-Agent等信息，伪装成浏览器。
使用代理IP：通过代理IP发送请求，避免频繁请求被封禁。
模拟用户行为：通过selenium等库模拟浏览器操作，绕过反爬机制。

import requests
from bs4 import BeautifulSoup
import time
import random
def get_html(url, headers):
    try:
        response = requests.get(url, headers=headers)
        if response.status_code == 200:
            return response.text
        else:
            return None
    except Exception as e:
        print(e)
        return None
def parse_html(html):
    soup = BeautifulSoup(html, 'html.parser')
    articles = soup.find_all('div', class_='result')
    for article in articles:
        title = article.find('h3').get_text()
        link = article.find('a')['href']
        summary = article.find('div', class_='c-abstract').get_text()
        print(f'Title: {title}\nLink: {link}\nSummary: {summary}\n')
if __name__ == '__main__':
    url = 'https://www.baidu.com/s?wd=Python'
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
    }
    html = get_html(url, headers)
    if html:
        parse_html(html)
        time.sleep(random.uniform(1, 3))  # 随机等待1-3秒

在上述代码中，我们通过设置请求头、解析HTML文档和随机等待时间来应对反爬机制。

四、保存数据

获取并解析网页内容后，可以将提取到的数据保存到本地文件或数据库中。以下是保存到CSV文件的示例：

import csv
def save_to_csv(data, filename):
    with open(filename, 'w', newline='', encoding='utf-8') as file:
        writer = csv.writer(file)
        writer.writerow(['Title', 'Link', 'Summary'])
        writer.writerows(data)
if __name__ == '__main__':
    url = 'https://www.baidu.com/s?wd=Python'
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
    }
    html = get_html(url, headers)
    if html:
        articles = parse_html(html)
        save_to_csv(articles, 'articles.csv')

在上述代码中，save_to_csv函数将数据保存到CSV文件中。

五、完整示例

以下是一个完整的示例，展示了如何用Python爬取百度文章，包括发送请求、解析网页、处理反爬机制和保存数据。

import requests
from bs4 import BeautifulSoup
import time
import random
import csv
def get_html(url, headers):
    try:
        response = requests.get(url, headers=headers)
        if response.status_code == 200:
            return response.text
        else:
            return None
    except Exception as e:
        print(e)
        return None
def parse_html(html):
    soup = BeautifulSoup(html, 'html.parser')
    articles = soup.find_all('div', class_='result')
    data = []
    for article in articles:
        title = article.find('h3').get_text()
        link = article.find('a')['href']
        summary = article.find('div', class_='c-abstract').get_text()
        data.append([title, link, summary])
    return data
def save_to_csv(data, filename):
    with open(filename, 'w', newline='', encoding='utf-8') as file:
        writer = csv.writer(file)
        writer.writerow(['Title', 'Link', 'Summary'])
        writer.writerows(data)
if __name__ == '__main__':
    url = 'https://www.baidu.com/s?wd=Python'
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
    }
    html = get_html(url, headers)
    if html:
        articles = parse_html(html)
        save_to_csv(articles, 'articles.csv')
        time.sleep(random.uniform(1, 3))  # 随机等待1-3秒