如何用python做酷狗音乐爬虫

使用Python做酷狗音乐爬虫，可以通过解析酷狗音乐网页、发送HTTP请求、解析响应数据来获取目标信息、处理并存储数据等步骤来实现。通过requests库发送请求、BeautifulSoup解析HTML、以及pandas库处理数据。详细步骤如下：

一、环境准备

开始之前，需要确保安装了requests、BeautifulSoup4、pandas等库。可以通过pip安装这些库：

pip install requests pip install beautifulsoup4 pip install pandas

二、发送HTTP请求

首先，我们需要向酷狗音乐发送HTTP请求，获取页面内容。可以使用requests库来完成：

import requests
url = 'https://www.kugou.com/yy/rank/home/1-8888.html?from=rank'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
}
response = requests.get(url, headers=headers)

在这里，我们指定了一个URL，并伪装成浏览器发送请求。通过设置headers，我们可以避免请求被拒绝。

三、解析HTML

接下来，我们需要解析获取到的页面内容，提取出我们需要的信息。可以使用BeautifulSoup库来完成：

from bs4 import BeautifulSoup
soup = BeautifulSoup(response.text, 'html.parser')

四、提取数据

在获取到解析后的HTML内容后，我们可以通过分析HTML结构，找到我们需要的音乐信息。例如，我们可以提取歌曲名和歌手名：

songs = soup.find_all('div', class_='pc_temp_songname')
for song in songs:
    song_name = song.get_text().strip().split('-')[1].strip()
    singer_name = song.get_text().strip().split('-')[0].strip()
    print(f'Song: {song_name}, Singer: {singer_name}')

这里我们通过find_all方法查找所有包含歌曲信息的div标签，并提取其中的歌曲名和歌手名。

五、处理并存储数据

最后，我们可以将提取到的数据存储到一个CSV文件中，方便后续处理和分析。可以使用pandas库来完成：

import pandas as pd
data = []
songs = soup.find_all('div', class_='pc_temp_songname')
for song in songs:
    song_name = song.get_text().strip().split('-')[1].strip()
    singer_name = song.get_text().strip().split('-')[0].strip()
    data.append([song_name, singer_name])
df = pd.DataFrame(data, columns=['Song', 'Singer'])
df.to_csv('kugou_songs.csv', index=False, encoding='utf-8')

这里我们将提取到的数据存储到一个DataFrame中，并将其保存为CSV文件。

六、处理分页

酷狗音乐的排行榜页面通常会有分页。为了获取更多的数据，我们需要处理分页请求。可以通过分析分页URL的规律，逐页发送请求获取数据：

import requests
from bs4 import BeautifulSoup
import pandas as pd
base_url = 'https://www.kugou.com/yy/rank/home/1-8888.html?from=rank&page='
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
}
data = []
for page in range(1, 11):  # 假设有10页数据
    url = base_url + str(page)
    response = requests.get(url, headers=headers)
    soup = BeautifulSoup(response.text, 'html.parser')
    songs = soup.find_all('div', class_='pc_temp_songname')
    for song in songs:
        song_name = song.get_text().strip().split('-')[1].strip()
        singer_name = song.get_text().strip().split('-')[0].strip()
        data.append([song_name, singer_name])
df = pd.DataFrame(data, columns=['Song', 'Singer'])
df.to_csv('kugou_songs.csv', index=False, encoding='utf-8')

七、处理反爬

在进行爬虫操作时，我们可能会遇到反爬措施。为了应对反爬，我们可以采取一些措施，例如：

设置请求头：伪装成浏览器，避免被识别为爬虫。
设置请求间隔：在每次请求之间添加随机的延迟，避免频繁请求。
使用代理：通过代理服务器发送请求，避免IP被封禁。

import time
import random
for page in range(1, 11):
    url = base_url + str(page)
    response = requests.get(url, headers=headers)
    soup = BeautifulSoup(response.text, 'html.parser')
    songs = soup.find_all('div', class_='pc_temp_songname')
    for song in songs:
        song_name = song.get_text().strip().split('-')[1].strip()
        singer_name = song.get_text().strip().split('-')[0].strip()
        data.append([song_name, singer_name])
    time.sleep(random.uniform(1, 3))  # 随机延迟1到3秒