【NLP第一期 语料处理：从获取到预处理的完整链路解析】

🚀 作者 ：“码上有前”
🚀 文章简介 ：NLP
🚀 欢迎小伙伴们 点赞👍、收藏⭐、留言💬

NLP 语料处理：从获取到预处理的完整链路解析

摘要：本文聚焦自然语言处理（NLP）的基础支撑环节，详细拆解语料获取与预处理流程。从语料获取的三类渠道（已构建数据集、爬虫采集、第三方合作）展开，结合实际案例与代码演示操作方法；对语料预处理的四大核心步骤（去除非文本内容、中文分词、词性标注、去停用词）进行深度剖析，搭配效果对比与原理阐释，帮助读者掌握 NLP 数据准备的关键技术，为后续模型开发筑牢数据根基。

一、引言

在自然语言处理的全流程中，语料是模型训练与应用的“原材料”，其质量直接决定 NLP 任务的上限。语料获取解决“从哪找数据”的问题，预处理则解决“如何让数据可用”的问题。这两个环节如同 NLP 工作流的“基石”，支撑着分词、文本分类、情感分析等上层任务。接下来，我们将深入探索语料处理的完整链路。

二、语料获取：多元渠道构建数据池

（一）利用已建好的数据集

1. 优质数据集资源盘点

NLP 领域积累了丰富的公开数据集，覆盖不同任务与语言：

• 通用领域：
  • 中文的 THUCNews（清华大学发布，含 14 个分类的新闻文本，适合文本分类任务 ）、SMP2020 - ECDT（电商对话数据集，可用于对话系统开发 ）；
  • 英文的 IMDB 影评（用于情感分析 ）、20 Newsgroups（新闻文本分类数据集 ）。
• 垂直领域：
  • 医疗领域的 CMeIE（中文医学信息抽取数据集 ）；
  • 金融领域的 ChFinAnn（金融新闻公告数据集 ）。

2. 实例：加载与探索 THUCNews 数据集

假设我们下载了 THUCNews 的采样数据集（THUCNews_sample.csv ），用 Python 进行加载和初步分析：

import pandas as pd

# 读取数据集
data_path = 'THUCNews_sample.csv'  
df = pd.read_csv(data_path)

# 查看数据基本信息
print("数据维度：", df.shape)
print("\n数据示例：")
print(df.head())

# 统计新闻分类分布
category_count = df['category'].value_counts()
print("\n分类分布：")
print(category_count)

通过上述代码，我们能快速了解数据集的规模、内容格式和类别分布，为后续任务（如选择分类任务的训练数据 ）提供依据。

（二）爬虫获取：定向采集网络文本

1. 爬虫工具与流程

当公开数据集无法满足需求时，可通过爬虫从目标网站采集语料。核心工具与流程：

• 工具库：
  • Requests：发送 HTTP 请求，获取网页源码；
  • BeautifulSoup：解析 HTML/XML 结构，提取文本；
  • Scrapy：构建分布式爬虫，适合大规模采集。
• 流程：分析目标网站结构 → 模拟请求获取页面 → 解析提取文本 → 存储数据。

2. 实例：爬取科技博客文章

以爬取某科技博客的文章内容为例，使用 Requests 和 BeautifulSoup 实现：

import requests
from bs4 import BeautifulSoup
import time

# 目标博客页面 URL（示例，需替换为实际地址）
url = 'https://example-tech-blog.com/category/ai'  
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'
}

# 发送请求并解析
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')

# 假设文章标题在 <h2> 标签，内容在 <div class="post-content"> 标签
article_titles = soup.find_all('h2', class_='post-title')
article_contents = soup.find_all('div', class_='post-content')

# 提取并存储文本
for title, content in zip(article_titles, article_contents):
    print("标题：", title.text.strip())
    print("内容：", content.text.strip())
    print('-' * 50)
    # 设置请求间隔，避免被封 IP
    time.sleep(2)  

注意事项：

• 遵守目标网站的 robots.txt 协议（访问 https://目标网站/robots.txt 查看规则 ）；
• 处理 JavaScript 渲染的页面时，需结合 Selenium 等工具；
• 大规模采集可使用代理 IP 池（如 requests-proxy 库 ）。

（三）与第三方合作：获取垂直领域数据

1. 合作模式与价值

对于医疗、金融、法律等垂直领域，公开数据集往往无法满足需求。与科研机构、企业合作是获取高质量语料的有效方式：

• 合作模式：
  • 数据共享：如医院共享脱敏后的病历数据；
  • 联合采集：企业与高校合作采集特定场景的对话数据。
• 价值：获得领域针对性强、标注精细的语料，支撑垂直领域 NLP 应用（如医疗问答系统、金融舆情分析 ）。

2. 实例：医疗问答数据合作采集

假设与某医院合作，获取脱敏后的医疗问答数据（存储为 medical_qa.json ），进行整理和分析：

import json

# 加载数据
with open('medical_qa.json', 'r', encoding='utf-8') as f:
    medical_data = json.load(f)

# 提取问答对并统计疾病分布
qa_pairs = []
disease_count = {}
for item in medical_data:
    question = item['question']
    answer = item['answer']
    qa_pairs.append((question, answer))
    
    # 简单提取疾病名称（需结合实际文本优化）
    disease = question.split('的')[0] if '的' in question else question
    disease_count[disease] = disease_count.get(disease, 0) + 1

# 查看前 5 条问答对
for q, a in qa_pairs[:5]:
    print("问题：", q)
    print("答案：", a)
    print('-' * 50)

# 查看疾病分布
print("疾病分布统计：")
for disease, count in disease_count.items():
    print(f"{disease}: {count} 次")

通过合作获取的语料，需重点关注数据合规性（如患者隐私保护 ）和标注质量，确保符合后续任务需求。

三、语料预处理：打磨数据，适配模型

（一）去除非文本内容：净化原始数据

1. 常见非文本干扰项

网络采集或多源整合的语料，常包含：

• HTML 标签（如 <div> <a> ）；
• 特殊符号（如 @ # $ % ）；
• 广告链接、无关代码等。

这些内容会干扰分词、词性标注等后续操作，需通过正则表达式等方式去除。

2. 实例：清洗网页文本

以爬虫获取的网页文本为例，编写清洗函数：

import re

def clean_text(raw_text):
    # 去除 HTML 标签
    text_no_html = re.sub('<[^<]+?>', '', raw_text)  
    # 去除特殊符号（保留中文、英文、数字）
    text_clean = re.sub('[^a-zA-Z\u4e00-\u9fa50-9]', ' ', text_no_html)  
    # 去除多余空格
    text_clean = re.sub('\s+', ' ', text_clean).strip()  
    return text_clean

# 测试
raw_text = '<p>这是一篇包含 <a href="#">广告链接</a> 的文本！@#$ 干扰符号</p>'
cleaned_text = clean_text(raw_text)
print("清洗前：", raw_text)
print("清洗后：", cleaned_text)

输出：

清洗前： <p>这是一篇包含 <a href="#">广告链接</a> 的文本！@#$ 干扰符号</p>
清洗后： 这是一篇包含 广告链接 的文本 干扰符号

通过正则表达式精准匹配，可有效净化文本，为后续处理减负。

（二）中文分词：拆分文本为词语单元

1. 分词原理与工具

中文分词是将连续文本拆分为词语的过程，是 NLP 中文处理的基础。常用工具 jieba 支持三种模式：

• 精确模式：优先匹配长词，适合文本分析（jieba.cut(text, cut_all=False) ）；
• 全模式：扫描所有可能的词语，速度快但冗余（jieba.cut(text, cut_all=True) ）；
• 搜索引擎模式：对长词二次切分，平衡精度与召回率（jieba.cut_for_search(text) ）。

2. 实例：对比不同分词模式

import jieba

text = '自然语言处理是人工智能的核心领域'

# 精确模式
words_precise = jieba.cut(text, cut_all=False)
print("精确模式分词：", '/'.join(words_precise))

# 全模式
words_full = jieba.cut(text, cut_all=True)
print("全模式分词：", '/'.join(words_full))

# 搜索引擎模式
words_search = jieba.cut_for_search(text)
print("搜索引擎模式分词：", '/'.join(words_search))

输出：

精确模式分词： 自然语言/处理/是/人工智能/的/核心/领域
全模式分词： 自然/自然语言/语言/处理/是/人工/人工智能/智能/的/核心/领域
搜索引擎模式分词： 自然/自然语言/语言/处理/是/人工/人工智能/智能/的/核心/领域

实际应用中，精确模式常用于语义分析、文本分类等任务，需根据需求灵活选择。

（三）词性标注：赋予词语语法属性

1. 词性标注的作用

词性标注为分词后的词语添加语法标签（如名词 n、动词 v、形容词 adj ），帮助理解文本的语法结构，为句法分析、信息抽取提供支持。jieba.posseg 模块可实现词性标注。

2. 实例：词性标注实践

import jieba.posseg as pseg

text = '小明在开心地阅读自然语言处理书籍'
words = pseg.cut(text)

print("词语\t词性")
for word, flag in words:
    print(f"{word}\t{flag}")

输出：

词语    词性
小明    nr
在      p
开心    adj
地      u
阅读    v
自然    n
语言    n
处理    v
书籍    n

其中，nr 表示人名，p 是介词，adj 是形容词，u 是助词，v 是动词，n 是名词。通过词性标注，可清晰识别文本中词汇的语法角色。

（四）去停用词：过滤冗余词汇

1. 停用词的特点与来源

停用词是文本中高频出现但语义贡献小的词汇（如“的”“了”“在”“和” ），去除它们可减少数据冗余，提升处理效率。常用停用词表有：

• 哈工大停用词表（涵盖中文常见停用词 ）；
• 百度停用词表（针对搜索引擎场景优化 ）。

2. 实例：去停用词操作

# 加载停用词表（需提前下载或自定义）
with open('stopwords.txt', 'r', encoding='utf-8') as f:
    stopwords = [line.strip() for line in f]

text = '这是一个关于自然语言处理的简单示例，其中包含许多停用词'
words = jieba.cut(text)

# 过滤停用词
filtered_words = [word for word in words if word not in stopwords]

print("去停用词前：", text)
print("去停用词后：", ' '.join(filtered_words))

假设 stopwords.txt 包含常见停用词，输出：

去停用词前： 这是一个关于自然语言处理的简单示例，其中包含许多停用词
去停用词后： 自然语言 处理 简单 示例 包含 停用词

去除停用词后，文本保留核心语义词汇，更适合作为模型输入。

四、总结

语料获取与预处理是 NLP 任务的“前置战场”，决定了后续模型的性能上限。通过已构建数据集、爬虫、第三方合作，我们可构建多样化的语料池；经去除非文本、分词、词性标注、去停用词，可将原始数据打磨为高质量的模型输入。实际应用中，需根据任务需求（如领域适配、数据规模 ）灵活调整流程，持续优化语料质量。掌握这两个环节，如同为 NLP 应用打造了“优质数据引擎”，为文本分类、情感分析、对话系统等上层任务提供坚实支撑。后续可进一步探索语料增强（如数据扩充、回译 ）、领域适配（如预训练模型微调 ）等进阶技术，不断挖掘语料价值，推动 NLP 应用迈向更高水平。

实践建议：读者可结合实际需求，选择公开数据集（如 THUCNews ）或通过爬虫采集数据，使用文中代码完成预处理流程，并尝试替换停用词表、调整分词模式，观察对后续任务（如文本分类准确率 ）的影响，切实掌握语料处理的核心技能。