如何用python建立豆瓣

一、如何用Python建立豆瓣

爬取豆瓣数据、搭建数据库、数据清洗、数据分析、数据可视化。例如，爬取豆瓣电影的评分和评论数据，可以使用Python的网络爬虫技术，然后存储到数据库中，再进行数据清洗和分析，最终将分析结果可视化展示出来。接下来我们将详细描述如何用Python实现这些步骤。

二、爬取豆瓣数据

1、使用Requests库进行数据爬取

首先，我们需要通过网络爬虫来获取豆瓣的数据。Python中的Requests库是一个简单易用的HTTP库，可以方便地发送HTTP请求并获取响应。

import requests
url = 'https://movie.douban.com/top250'
response = requests.get(url)
print(response.text)

通过上述代码，我们可以获取豆瓣电影Top250页面的HTML内容。接下来，我们需要解析这些HTML内容，从中提取出我们需要的信息。

2、使用BeautifulSoup解析HTML

BeautifulSoup是一个可以方便地从HTML或XML文件中提取数据的Python库。我们可以使用它来解析豆瓣电影页面的HTML，并提取出电影的评分和评论等信息。

from bs4 import BeautifulSoup
soup = BeautifulSoup(response.text, 'html.parser')
movies = soup.find_all('div', class_='item')
for movie in movies:
    title = movie.find('span', class_='title').text
    rating = movie.find('span', class_='rating_num').text
    print(f'Title: {title}, Rating: {rating}')

通过上述代码，我们可以提取出豆瓣电影Top250页面中每部电影的标题和评分。

三、搭建数据库

为了存储爬取到的数据，我们需要搭建一个数据库。我们可以使用SQLite，这是一个轻量级的关系型数据库，适合用于小型项目。

1、创建数据库和表

首先，我们需要创建一个SQLite数据库和一个表来存储电影数据。

import sqlite3
conn = sqlite3.connect('douban_movies.db')
cursor = conn.cursor()
cursor.execute('''
    CREATE TABLE movies (
        id INTEGER PRIMARY KEY AUTOINCREMENT,
        title TEXT,
        rating REAL
    )
''')
conn.commit()

通过上述代码，我们创建了一个名为douban_movies.db的SQLite数据库，并在其中创建了一个名为movies的表。

2、将数据插入数据库

接下来，我们需要将爬取到的电影数据插入到数据库中。

for movie in movies:
    title = movie.find('span', class_='title').text
    rating = movie.find('span', class_='rating_num').text
    cursor.execute('INSERT INTO movies (title, rating) VALUES (?, ?)', (title, rating))
conn.commit()

通过上述代码，我们将每部电影的标题和评分插入到了数据库中。

四、数据清洗

在进行数据分析之前，我们需要对数据进行清洗。数据清洗的目的是去除无效或不准确的数据，以确保数据的质量。

1、删除重复数据

首先，我们需要删除数据库中可能存在的重复数据。

cursor.execute('''
    DELETE FROM movies
    WHERE rowid NOT IN (
        SELECT MIN(rowid)
        FROM movies
        GROUP BY title, rating
    )
''')
conn.commit()

通过上述代码，我们删除了数据库中重复的电影数据。

2、处理缺失数据

接下来，我们需要处理数据中可能存在的缺失值。

cursor.execute('DELETE FROM movies WHERE title IS NULL OR rating IS NULL')
conn.commit()

通过上述代码，我们删除了数据库中标题或评分为空的电影数据。

五、数据分析

完成数据清洗后，我们可以对数据进行分析。我们可以计算出豆瓣电影Top250的平均评分，并找到评分最高和最低的电影。

1、计算平均评分

cursor.execute('SELECT AVG(rating) FROM movies')
avg_rating = cursor.fetchone()[0]
print(f'Average Rating: {avg_rating}')

通过上述代码，我们计算出了豆瓣电影Top250的平均评分。

2、找到评分最高和最低的电影

cursor.execute('SELECT title, rating FROM movies ORDER BY rating DESC LIMIT 1')
highest_rated_movie = cursor.fetchone()
print(f'Highest Rated Movie: {highest_rated_movie[0]}, Rating: {highest_rated_movie[1]}')
cursor.execute('SELECT title, rating FROM movies ORDER BY rating ASC LIMIT 1')
lowest_rated_movie = cursor.fetchone()
print(f'Lowest Rated Movie: {lowest_rated_movie[0]}, Rating: {lowest_rated_movie[1]}')

通过上述代码，我们找到了评分最高和最低的电影。

六、数据可视化

为了更直观地展示数据分析的结果，我们可以使用数据可视化工具。Python中的Matplotlib和Seaborn是两个强大的数据可视化库，可以帮助我们创建各种图表。

1、绘制评分分布图

我们可以绘制一个评分分布图，展示豆瓣电影Top250的评分分布情况。

import matplotlib.pyplot as plt
import seaborn as sns
cursor.execute('SELECT rating FROM movies')
ratings = [row[0] for row in cursor.fetchall()]
plt.figure(figsize=(10, 6))
sns.histplot(ratings, bins=10, kde=True)
plt.xlabel('Rating')
plt.ylabel('Frequency')
plt.title('Rating Distribution of Douban Top 250 Movies')
plt.show()

通过上述代码，我们绘制了一个评分分布图。

2、绘制评分与电影数量的关系图

我们还可以绘制一个评分与电影数量的关系图，展示每个评分对应的电影数量。

import pandas as pd
cursor.execute('SELECT rating, COUNT(*) FROM movies GROUP BY rating')
rating_counts = cursor.fetchall()
df = pd.DataFrame(rating_counts, columns=['rating', 'count'])
plt.figure(figsize=(10, 6))
sns.barplot(x='rating', y='count', data=df)
plt.xlabel('Rating')
plt.ylabel('Number of Movies')
plt.title('Number of Movies by Rating')
plt.show()

通过上述代码，我们绘制了一个评分与电影数量的关系图。

七、总结

通过上述步骤，我们使用Python实现了对豆瓣电影数据的爬取、存储、清洗、分析和可视化。具体来说，我们使用了Requests库来爬取豆瓣电影的数据，使用SQLite来存储数据，使用SQL语句来进行数据清洗和分析，最终使用Matplotlib和Seaborn来进行数据可视化。这些步骤不仅可以帮助我们更好地理解豆瓣电影的数据，还可以为其他类似的数据分析项目提供参考。