Python爬取豆瓣短评并生成词云分析

一、项目概述

本项目的目标是爬取豆瓣上某部电影的短评数据，并生成词云进行情感分析。我们将使用Python编程语言，借助爬虫技术获取数据，并利用自然语言处理和数据可视化工具进行分析。具体步骤包括：

1. 爬取豆瓣短评数据。
2. 数据清洗和预处理。
3. 使用词云技术生成可视化结果。
4. 分析词云结果，提取关键信息。

二、技术栈

• Python：强大的编程语言，支持多种库和框架。
• Requests：用于发送HTTP请求，获取网页数据。
• BeautifulSoup：用于解析HTML页面，提取所需数据。
• jieba：中文分词库，用于对短评进行分词处理。
• wordcloud：用于生成词云，展示高频词汇。
• matplotlib：用于绘制词云图像。

三、爬取豆瓣短评

1. 环境准备

在开始之前，需要安装以下Python库：

pip install requests
pip install beautifulsoup4
pip install jieba
pip install wordcloud
pip install matplotlib

2. 爬虫实现

豆瓣的短评数据可以通过访问电影详情页的短评部分获取。以下是爬取豆瓣短评的代码实现：

import requests
from bs4 import BeautifulSoup

# 代理信息
proxyHost = "www.16yun.cn"
proxyPort = "5445"
proxyUser = "16QMSOML"
proxyPass = "280651"

# 构造代理服务器的认证信息
proxies = {
    "http": f"http://{proxyUser}:{proxyPass}@{proxyHost}:{proxyPort}",
    "https": f"https://{proxyUser}:{proxyPass}@{proxyHost}:{proxyPort}"
}

def get_douban_comments(movie_id, start=0, limit=20):
    """
    爬取豆瓣电影短评
    :param movie_id: 豆瓣电影ID
    :param start: 起始评论位置
    :param limit: 每次获取的评论数量
    :return: 评论列表
    """
    comments = []
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
    }
    url = f"https://movie.douban.com/subject/{movie_id}/comments?start={start}&limit={limit}"
    response = requests.get(url, headers=headers, proxies=proxies)  # 使用代理
    if response.status_code == 200:
        soup = BeautifulSoup(response.text, 'html.parser')
        comment_items = soup.find_all('div', class_='comment')
        for item in comment_items:
            comment = item.find('p', class_='comment-content').get_text().strip()
            comments.append(comment)
    return comments

# 示例：爬取电影《肖申克的救赎》的短评
movie_id = '1292052'  # 豆瓣电影ID
all_comments = []
for i in range(0, 100, 20):  # 获取前100条评论
    comments = get_douban_comments(movie_id, start=i)
    all_comments.extend(comments)

print(f'共获取到 {len(all_comments)} 条短评')

3. 数据清洗

爬取到的短评数据可能包含HTML标签、特殊字符或无关信息，需要进行清洗和预处理。以下是数据清洗的代码：

import re

def clean_comments(comments):
    """
    清洗短评数据
    :param comments: 评论列表
    :return: 清洗后的评论列表
    """
    cleaned_comments = []
    for comment in comments:
        # 去除HTML标签和特殊字符
        cleaned_comment = re.sub(r'<.*?>', '', comment)
        cleaned_comment = re.sub(r'[^\u4e00-\u9fa5a-zA-Z0-9]', ' ', cleaned_comment)
        cleaned_comments.append(cleaned_comment)
    return cleaned_comments

cleaned_comments = clean_comments(all_comments)
print(cleaned_comments[:5])  # 查看清洗后的前5条评论

四、生成词云

词云是一种常见的文本可视化方式，通过将高频词汇以更大的字体显示，直观地展示文本内容的重点。以下是生成词云的代码实现：

import jieba
from wordcloud import WordCloud
import matplotlib.pyplot as plt

def generate_wordcloud(comments):
    """
    生成词云
    :param comments: 评论列表
    """
    # 合并所有评论为一个长文本
    text = ' '.join(comments)
    # 使用jieba进行中文分词
    words = jieba.cut(text)
    word_text = ' '.join(words)
    
    # 创建WordCloud对象
    wordcloud = WordCloud(
        font_path='path/to/simhei.ttf',  # 指定中文字体路径
        width=800,
        height=600,
        background_color='white',  # 设置词云背景颜色
        max_words=100,  # 设置最多显示的单词数
        min_font_size=10,  # 设置最小字体大小
        max_font_size=100,  # 设置最大字体大小
    ).generate(word_text)
    
    # 使用matplotlib绘制词云
    plt.figure(figsize=(10, 8))
    plt.imshow(wordcloud, interpolation='bilinear')
    plt.axis('off')  # 关闭坐标轴
    plt.show()

generate_wordcloud(cleaned_comments)

5. 中文字体问题

在生成词云时，需要注意中文字体的处理。默认情况下，WordCloud库不支持中文字符，因此需要指定一个支持中文的字体文件路径。例如，可以使用Windows系统中的“simhei.ttf”（黑体）字体文件。

五、词云分析

通过生成的词云，我们可以直观地看到高频词汇，从而分析用户对电影的评价。例如，如果词云中出现了“感人”“经典”“震撼”等词汇，则表明用户对该电影的评价较为积极；如果出现“无聊”“拖沓”“差”等词汇，则可能表示用户对该电影的评价不佳。