文章目录
nltk（Natural Language Toolkit）是一个用于自然语言处理（NLP）的 Python 库，特别适合教学和研究。它提供了丰富的语料库、词典资源以及各种文本处理工具，非常适合初学者和研究人员使用。
🧰 一、nltk 的主要功能
✅ 文本处理功能
- 分词（Tokenization）
- 词形还原（Lemmatization）
- 词干提取（Stemming）
- 词性标注（POS Tagging）
- 命名实体识别（NER）
- 句法分析（Parsing）
- 情感分析（Sentiment Analysis）
✅ 内置语料库（Corpora）
- 含有几十种公开语料和词典（如布朗语料库、电影评论语料等）
- 支持中文（但中文支持不如英文完善）
📦 二、安装与使用
1. 安装 nltk
pip install nltk
2. 下载语料库（第一次使用时需要下载）
import nltk
nltk.download() # 会弹出图形界面，选择要下载的内容（建议全选或至少下载 popular）
也可以通过命令行指定下载：
nltk.download('punkt') # 常用分词模块
nltk.download('averaged_perceptron_tagger') # 词性标注器
nltk.download('wordnet') # WordNet 词典
nltk.download('stopwords') # 停用词列表
🔍 三、常用功能示例
示例 1：分词
from nltk.tokenize import word_tokenize
text = "Hello, I love NLP with NLTK!"
tokens = word_tokenize(text)
print(tokens)
# 输出: ['Hello', ',', 'I', 'love', 'NLP', 'with', 'NLTK', '!']
示例 2：词性标注
from nltk import pos_tag
pos_tag(word_tokenize("I love natural language processing."))
# 输出: [('I', 'PRP'), ('love', 'VBP'), ('natural', 'JJ'), ...]
示例 3：停用词过滤
from nltk.corpus import stopwords
stop_words = set(stopwords.words('english'))
words = ["the", "hello", "and", "python"]
filtered_words = [w for w in words if w not in stop_words]
print(filtered_words) # 输出: ['hello', 'python']
示例 4：词干提取（Stemming）
from nltk.stem import PorterStemmer
ps = PorterStemmer()
print(ps.stem("running")) # 输出: run
示例 5：词形还原（Lemmatization）
from nltk.stem import WordNetLemmatizer
lemmatizer = WordNetLemmatizer()
print(lemmatizer.lemmatize("running", pos="v")) # 输出: run
🎓 四、适用场景
| 应用 | 使用方式 |
|---|---|
| 教学/学习 NLP | 提供了大量教材和练习 |
| 简单的文本分析 | 如情感分析、关键词提取 |
| 构建小型 NLP 工具 | 比如聊天机器人、词频统计 |
| 中文处理（有限） | 需要自定义分词器 |
⚠️ 注意：对于中文处理，nltk 不像 jieba 那样方便，需要自己加载语料和模型。
🆚 五、与其他 NLP 工具对比
| 工具 | 特点 | 优点 | 缺点 |
|---|---|---|---|
| nltk | 经典 NLP 工具包 | 学习曲线低，文档丰富 | 性能一般，不适合大规模生产 |
| spaCy | 工业级 NLP 工具 | 快速、准确、适合生产环境 | 对中文支持较弱 |
| jieba | 中文分词利器 | 简单高效 | 功能单一，仅限中文 |
| transformers (HuggingFace) | 使用预训练模型（如 BERT） | 最先进的 NLP 模型 | 资源消耗大 |
📚 六、推荐学习资源
- 官网：https://www.nltk.org
- 书籍《Natural Language Processing with Python》
- 作者：Steven Bird, Ewan Klein, Edward Loper
- 免费电子版可在网上找到
- YouTube 视频教程
- 搜索 “NLTK tutorial” 即可找到很多入门视频