如何用python爬取微信聊天数据

如何用Python爬取微信聊天数据

使用Python爬取微信聊天数据的主要步骤包括：登录微信、获取聊天列表、提取聊天记录、保存数据。这些步骤需要使用微信的API和相关的Python库。 其中，登录微信是关键环节之一，因为需要通过扫描二维码或其他方式进行身份验证，确保数据的合法性和安全性。

一、登录微信

登录微信通常需要使用微信网页版接口。通过模拟浏览器行为，使用Python库如Selenium或Requests来实现登录操作。

1. 使用Selenium自动化登录

Selenium是一个强大的工具，能够模拟用户在浏览器上的操作。可以通过以下步骤实现自动化登录微信：

安装Selenium和浏览器驱动程序（如ChromeDriver）。
编写脚本，打开微信网页版。
模拟用户扫描二维码登录。

from selenium import webdriver
import time
初始化浏览器
driver = webdriver.Chrome(executable_path='/path/to/chromedriver')
driver.get("https://wx.qq.com/")
等待用户扫描二维码
time.sleep(15)
登录成功，继续操作

2. 获取登录后的Cookies

登录成功后，可以获取Cookies，用于后续的请求认证。

cookies = driver.get_cookies()
driver.quit()

二、获取聊天列表

登录成功后，可以通过微信的API接口获取聊天列表。需要分析微信网页版的网络请求，找到获取聊天列表的接口。

1. 分析网络请求

使用浏览器的开发者工具（F12）查看网络请求，找到获取聊天列表的接口地址和请求方式。

2. 发送请求获取聊天列表

使用Requests库发送请求，获取聊天列表。

import requests
url = "https://wx.qq.com/cgi-bin/mmwebwx-bin/webwxinit"
headers = {
    "User-Agent": "Mozilla/5.0",
    "Cookie": "; ".join([f"{cookie['name']}={cookie['value']}" for cookie in cookies]),
}
response = requests.get(url, headers=headers)
chat_list = response.json().get('ContactList')

三、提取聊天记录

获取聊天列表后，可以通过微信的API接口提取每个聊天的记录。

1. 获取聊天记录接口

同样使用浏览器的开发者工具，找到获取聊天记录的接口地址和请求方式。

2. 发送请求获取聊天记录

使用Requests库发送请求，获取聊天记录。

chat_id = chat_list[0]['UserName']
url = f"https://wx.qq.com/cgi-bin/mmwebwx-bin/webwxsync?sid={session_id}&skey={skey}&lang=en_US"
data = {
    "BaseRequest": {
        "Uin": uin,
        "Sid": session_id,
        "Skey": skey,
        "DeviceID": device_id,
    },
    "SyncKey": sync_key,
    "rr": ~int(time.time())
}
response = requests.post(url, json=data, headers=headers)
chat_records = response.json().get('AddMsgList')

四、保存数据

将提取到的聊天记录保存到本地，可以选择保存为JSON、CSV或数据库等格式。

1. 保存为JSON文件

import json
with open('chat_records.json', 'w', encoding='utf-8') as f:
    json.dump(chat_records, f, ensure_ascii=False, indent=4)

2. 保存为CSV文件

import csv
with open('chat_records.csv', 'w', newline='', encoding='utf-8') as csvfile:
    fieldnames = ['FromUserName', 'ToUserName', 'Content', 'CreateTime']
    writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
    writer.writeheader()
    for record in chat_records:
        writer.writerow({
            'FromUserName': record['FromUserName'],
            'ToUserName': record['ToUserName'],
            'Content': record['Content'],
            'CreateTime': record['CreateTime'],
        })

3. 保存到数据库

可以使用SQLite或其他数据库，将数据保存到表中。

import sqlite3
conn = sqlite3.connect('chat_records.db')
c = conn.cursor()
创建表
c.execute('''CREATE TABLE IF NOT EXISTS chat_records
             (FromUserName TEXT, ToUserName TEXT, Content TEXT, CreateTime INTEGER)''')
插入数据
for record in chat_records:
    c.execute("INSERT INTO chat_records (FromUserName, ToUserName, Content, CreateTime) VALUES (?, ?, ?, ?)",
              (record['FromUserName'], record['ToUserName'], record['Content'], record['CreateTime']))
conn.commit()
conn.close()

五、数据分析与可视化

除了保存数据，还可以对聊天记录进行分析和可视化。例如，统计聊天频率、关键词分析等。

1. 聊天频率分析

统计每天的聊天数量，绘制折线图。

import matplotlib.pyplot as plt
from collections import Counter
from datetime import datetime
timestamps = [record['CreateTime'] for record in chat_records]
dates = [datetime.fromtimestamp(ts).date() for ts in timestamps]
date_counts = Counter(dates)
dates = list(date_counts.keys())
counts = list(date_counts.values())
plt.plot(dates, counts)
plt.xlabel('Date')
plt.ylabel('Number of Messages')
plt.title('Chat Frequency')
plt.show()

2. 关键词分析

统计聊天内容中的关键词，绘制词云图。

from wordcloud import WordCloud
content = " ".join([record['Content'] for record in chat_records])
wordcloud = WordCloud(width=800, height=400, background_color='white').generate(content)
plt.figure(figsize=(10, 5))
plt.imshow(wordcloud, interpolation='bilinear')
plt.axis('off')
plt.show()