NLP中的同义词替换及我踩的坑

NLP中的同义词替换及我踩的坑

同义词替换是一种常用的文本数据增强方法。其核心思想是将句子中的某些词语用其同义词进行替换，从而生成语义相近但表达不同的新句子。这种方法能够增加训练数据的多样性，提高模型对不同表达方式的泛化能力。

示例

原句：

机器学习可以提升数据分析的效率。

同义词替换后：

机器学习能够提高数据分析的效能。

Python代码示例

下面是一个简单的同义词替换实现，使用nltk库和wordnet词库（语料库）：

nltk 安装

uv add nltk

设置NLTK_DATA环境变量

词库下载

使用nltk.download()方法，会弹出对话框，选择要下载的词库，下载的数据将存储到前文NLTK_DATA环境变量指定的位置。下载完成后，代码会从该目录查找词库。

import nltk

nltk.download()

showing info https://raw.githubusercontent.com/nltk/nltk_data/gh-pages/index.xml





True

例如，这里我们选择了下载Stopwords：

当然，我们也可以指定语料库名称下载：

nltk.download('wordnet')
nltk.download('punkt_tab')

[nltk_data] Downloading package wordnet to
[nltk_data]     C:\Users\yeshe\AppData\Roaming\nltk_data...
[nltk_data] Downloading package punkt_tab to
[nltk_data]     C:\Users\yeshe\AppData\Roaming\nltk_data...
[nltk_data]   Unzipping tokenizers\punkt_tab.zip.





True

import random
from nltk.corpus import wordnet
from nltk.tokenize import word_tokenize

def get_synonyms(word):
    synonyms = []
    for syn in wordnet.synsets(word):
        for lemma in syn.lemmas():
            synonyms.append(lemma.name())
    return synonyms

def synonym_replacement(sentence, n=1):
    words = word_tokenize(sentence)
    new_words = words.copy()
    candidates = [word for word in words if get_synonyms(word)]
    random.shuffle(candidates)
    num_replaced = 0
    for word in candidates:
        synonyms = get_synonyms(word)
        if synonyms:
            synonym = random.choice(synonyms)
            new_words = [synonym if w == word else w for w in new_words]
            num_replaced += 1
        if num_replaced >= n:
            break
    return ' '.join(new_words)

# 示例
sentence = "Machine learning can improve the efficiency of data analysis."
augmented_sentence = synonym_replacement(sentence)
print(augmented_sentence)

Machine learning can meliorate the efficiency of data analysis .

对于中文的同义词替换，wordnet就有点鞭长莫及了，这时，我们需要jieba和synonyms的支持：

uv add synonyms jieba

import jieba
import synonyms
import random
from nltk.corpus import wordnet as wn  # 备用方案（英文WordNet）

# 加载中文停用词表（可选，避免替换无意义词）
stopwords = set(["的", "了", "可以", "。"])

def get_chinese_synonyms(word):
    """获取中文词语的同义词列表（优先使用Synonyms库）"""
    try:
        # 使用Synonyms获取同义词（返回格式：[同义词列表, 相似度分数]）
        syns, _ = synonyms.nearby(word)
        # 过滤低相似度词（阈值>0.7）并去重
        valid_syns = list(set([s for s in syns if synonyms.compare(word, s) > 0.7]))
        return valid_syns
    except Exception as e:
        # 备用方案：使用WordNet（需确保词语有英文映射）
        en_word = word  # 实际应用中可能需要中英词典映射
        synsets = wn.synsets(en_word)
        return [lemma.name() for synset in synsets for lemma in synset.lemmas()]
    return []

def synonym_replacement_chinese(sentence):
    """对中文句子进行同义词替换"""
    words = jieba.lcut(sentence)  # 精确分词
    new_words = words.copy()
    # 筛选可替换词：非停用词且非标点
    candidates = [i for i, w in enumerate(words) if w not in stopwords and len(w) > 1]
    random.shuffle(candidates)  # 随机选择替换位置
    
    replaced = False
    for idx in candidates:
        word = words[idx]
        syns = get_chinese_synonyms(word)
        if syns and word in syns:
            syns.remove(word)  # 移除原词
        if syns:
            new_words[idx] = random.choice(syns)  # 随机选一个同义词
            replaced = True
            break  # 每次只替换一个词（避免过度失真）
    return "".join(new_words) if replaced else sentence

# 示例调用
original_sentence = "机器学习可以提升数据分析的效率。"
# 首次运行需安装依赖：pip install jieba synonyms nltk
augmented_sentence = synonym_replacement_chinese(original_sentence)
print("原句：", original_sentence)
print("替换后：", augmented_sentence)

原句： 机器学习可以提升数据分析的效率。
替换后： 机器学习可以提升数据处理的效率。

中途跳的一个坑

上述代码中import synonyms报如下错误：

---------------------------------------------------------------------------
ImportError                               Traceback (most recent call last)
Cell In[21], line 2
      1 import jieba
----> 2 import synonyms
      3 import random
      4 from nltk.corpus import wordnet as wn  # 备用方案（英文WordNet）

File d:\Source\Repos\Visual Studio Code\MachineLearning-notes\.venv\Lib\site-packages\synonyms\synonyms.py:47
     45 import gzip
     46 import shutil
---> 47 from .word2vec import KeyedVectors
     48 from .utils import any2utf8
     49 from .utils import any2unicode

ImportError: attempted relative import with no known parent package

为解决这个问题，我连续踩坑：

• 补充words.vector.gz文件

好不容易在网上找到了处理办法，但也没有效果。

下载words.vector.gz，并存放到synonyms的data目录下，我用的uv做包管理，本地是这个路径：“.venv\Lib\site-packages\synonyms\data”。

然而，并没什么用，错误依旧。

• 安装word2vec包

Windows 上安装word2vec需要把gcc放到PATH环境变量，否则会安装失败。

$env:PATH += ";D:\tools\mingw64\bin"
uv add word2vec

实测也没有用，问题不是出在这，而是提示所说的相对路径导入出错，且还是synonyms包里synonyms.py文件的问题，于是修改带.的那几个from ... import ...语句：

from synonyms.word2vec import KeyedVectors
from synonyms.utils import any2utf8
from synonyms.utils import any2unicode
from synonyms.utils import sigmoid
from synonyms.utils import cosine
from synonyms.utils import is_digit

问题解决。