Python人工智能应用---中文分词&词频统计-EW帮帮网

# 导入csv模块
import csv

# 使用open()函数打开数据集
file = open("C:\\Users\\32585\\Desktop\\yequ\\TVComments.csv","r",encoding='gb18030',errors="ignore")
# 使用csv.reader()函数读取数据集
reader = csv.reader(file)

# 创建一个空列表data
data = []

# 使用for循环遍历reader，将遍历的数据存储到变量info中
for info in reader:
    # 使用append()函数，将info逐一添加到data列表中
    data.append(info)
    
# TODO 导入jieba模块
import jieba

# TODO 使用for循环遍历data列表
for row in data:

    # TODO 获取具体的评价内容，并赋值给变量text
    text=row[0]
    
    # TODO 使用jieba.lcut()将text进行分词，并把结果赋值给ret
    ret=jieba.lcut(text)
    
    # 输出ret进行查看
    print(ret)

因为文件容量比较大，所以生成的分词比较多，如图所示：

3.词袋模型的构建

（1）分析需求

经过jieba,lcut函数的处理之后，就生成了一系列的字符串列表：有多少条评论，就会生成多少条评论，但是我们后续的词袋模型只能传进去一个字符串，所以我们要把生成的诸多字符串转换成一个字符串；

（2）处理分析

我们的解决方案就是把每个列表里面的字符串使用空格进行合并，添加到一个新的列表里面；

下面是具体的实现：

1.先实现字符串的连接

把小的列表里面的内容使用空格合并成为一个字符串，我们这里可以使用join()函数：

按照上面的示例，在这个题上面，具体的代码就只需要在原来的基础上面进行修改就可以了：

2.字符串放到新的列表里面

4.提取高频词语

机器学习模块sklearn可以帮助我们处理这个问题，这个模块里面含有许多的函数，可以直接进行评论的提取以及高频词的统计；sklearn不是内置的模块，需要我们在本地进行安装

（1）STEP1. 导入模块

我们需使用
from...import...，从 sklearn.feature_extraction.text 模块中导入 CountVectorizer 类。

（2）STEP2. 创建CountVectorizer对象

导入模块后，需要创建一个CountVectorizer对象，这样才能调用CountVectorizer类里面的某个方法或属性。

由于我们只想从评价中筛选出前15个出现频率最高的词语，所以传入了max_features=15。

# 从sklearn.feature_extraction.text中导入CountVectorizer
from sklearn.feature_extraction.text import CountVectorizer

# 创建CountVectorizer对象，并存储在vect中
vect = CountVectorizer(max_features=15)

（3）STEP3. 使用fit_transform()函数构造词袋模型

X = vect.fit_transform(word)

这个里面的word就是我们前面新建的列表

这个里面的生成结果全部是数字，我们来解释一下：

（4）STEP4. 使用get_feature_names()提取关键词

# TODO 对vect对象使用get_feature_names()，并将结果赋值给keywords
keywords = vect.get_feature_names()

# 输出keywords
print(keywords)

最后的返回结果就是高频词：

Python人工智能应用---中文分词&词频统计

1.中文分词

2.循环分别处理列表

（1）分析

（2）代码解决