python如何在百度爬数据

使用Python在百度爬数据的步骤包括：发送HTTP请求、解析HTML内容、提取所需数据、处理和存储数据。 其中，最常用的方法是通过requests库发送HTTP请求，通过BeautifulSoup库解析HTML内容。需要注意的是，爬虫操作要遵守相关法律法规和网站的robots.txt文件，避免频繁请求对网站造成负担。下面将详细展开如何使用Python在百度爬数据。

一、发送HTTP请求

使用Python爬取网页的第一步是发送HTTP请求，获取网页的内容。最常用的库是requests。首先，确保安装了requests库，可以使用以下命令安装：

pip install requests

然后，使用requests库发送HTTP请求获取百度搜索结果页面：

import requests
def get_html(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
    response = requests.get(url, headers=headers)
    return response.text
url = 'https://www.baidu.com/s?wd=Python'
html_content = get_html(url)
print(html_content)

二、解析HTML内容

获取到HTML内容后，下一步是解析HTML。我们可以使用BeautifulSoup库来解析HTML内容。确保安装BeautifulSoup库：

pip install beautifulsoup4

使用BeautifulSoup解析HTML内容：

from bs4 import BeautifulSoup
def parse_html(html_content):
    soup = BeautifulSoup(html_content, 'html.parser')
    return soup
soup = parse_html(html_content)
print(soup.prettify())

三、提取所需数据

从解析后的HTML中提取所需的数据。以百度搜索结果为例，我们提取每个搜索结果的标题和链接：

def extract_data(soup):
    results = []
    for item in soup.find_all('div', class_='result c-container'):
        title_tag = item.find('h3')
        link_tag = item.find('a')
        if title_tag and link_tag:
            title = title_tag.get_text()
            link = link_tag['href']
            results.append({'title': title, 'link': link})
    return results
data = extract_data(soup)
for item in data:
    print(f"Title: {item['title']}, Link: {item['link']}")

四、处理和存储数据

获取到所需数据后，可以进行进一步处理和存储。可以将数据保存到CSV文件、数据库等。这里以保存到CSV文件为例：

import csv
def save_to_csv(data, filename):
    with open(filename, mode='w', newline='', encoding='utf-8') as file:
        writer = csv.DictWriter(file, fieldnames=['title', 'link'])
        writer.writeheader()
        for item in data:
            writer.writerow(item)
save_to_csv(data, 'baidu_search_results.csv')

五、遵守爬虫规则

在进行爬虫操作时，务必遵守网站的robots.txt规则。百度的robots.txt文件地址为：https://www.baidu.com/robots.txt。建议在爬取时添加延迟，避免频繁请求对网站造成负担：

import time
def get_html_with_delay(url, delay=1):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
    response = requests.get(url, headers=headers)
    time.sleep(delay)
    return response.text
html_content = get_html_with_delay(url, delay=2)

六、完整代码示例

下面是一个完整的Python脚本示例，用于在百度搜索“Python”并提取搜索结果的标题和链接，保存到CSV文件：

import requests
from bs4 import BeautifulSoup
import csv
import time
def get_html(url, delay=1):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
    response = requests.get(url, headers=headers)
    time.sleep(delay)
    return response.text
def parse_html(html_content):
    soup = BeautifulSoup(html_content, 'html.parser')
    return soup
def extract_data(soup):
    results = []
    for item in soup.find_all('div', class_='result c-container'):
        title_tag = item.find('h3')
        link_tag = item.find('a')
        if title_tag and link_tag:
            title = title_tag.get_text()
            link = link_tag['href']
            results.append({'title': title, 'link': link})
    return results
def save_to_csv(data, filename):
    with open(filename, mode='w', newline='', encoding='utf-8') as file:
        writer = csv.DictWriter(file, fieldnames=['title', 'link'])
        writer.writeheader()
        for item in data:
            writer.writerow(item)
if __name__ == "__main__":
    url = 'https://www.baidu.com/s?wd=Python'
    html_content = get_html(url, delay=2)
    soup = parse_html(html_content)
    data = extract_data(soup)
    save_to_csv(data, 'baidu_search_results.csv')