在自然语言处理（NLP）领域，将文本转换成计算机能够理解和处理的格式是一个基本的步骤。这个过程通常被称为文本表征或文本向量化。下面，我将详细介绍几种常见的文本表征方法，并提供一些例子来说明这些技术是如何应用的。
- One-Hot 编码
这是最简单的文本表征方法之一。在这种方法中，每个词都被转换为一个很长的向量。向量的长度等于词汇表中词的数量，向量中只有一个位置是1，其余位置都是0。这个位置对应于词汇表中词的索引。
例子：
假设我们的词汇表只有四个词：“king”, “queen”, “man”, “woman”。词"king"的One-Hot编码可能是[1, 0, 0, 0]，而"queen"的编码则是[0, 1, 0, 0]。
- 词袋模型（Bag of Words, BoW）
在词袋模型中，文本被表示为词频的向量。这种方法不考虑词的顺序和句子结构，只是简单统计每个词在文本中出现的次数。
例子：
考虑两个文本：“the king loves the queen” 和 “the queen loves the king”。使用BoW模型，这两个句子会有相同的表示，比如对于词汇表 [“the”, “king”, “queen”, “loves”]，两个句子的向量都是 [2, 1, 1, 1]。
- TF-IDF（Term Frequency-Inverse Document Frequency）
TF-IDF是一种更复杂的表示方法，它不仅考虑了词频（TF），还考虑了词的逆文档频率（IDF）。这种方法可以减少常见词的影响并强调重要的词。
例子：
如果词"the"在几乎所有文档中都非常常见，而"queen"只在一小部分文档中出现，那么在TF-IDF权重中，“queen"的权重将高于"the”。
- 词嵌入（Word Embeddings）
词嵌入是一种强大的文本表征方法，它能够捕捉单词之间的复杂语义关系。在这种方法中，每个词被映射到一个密集的向量空间中，这些向量能够捕捉词和词之间的语义关系。
例子：
词如"king"和"queen"在向量空间中可能彼此非常接近，因为它们具有相似的语义和使用上下文。常用的词嵌入模型包括Word2Vec、GloVe和FastText。
- 上下文化词表示（如BERT）
最新的NLP模型如BERT（Bidirectional Encoder Representations from Transformers）和其他基于Transformer的模型提供了基于上下文的词表示。这些模型能够根据词周围的词来动态生成词的表示，使得同一个词在不同的上下文中有不同的表示。
例子：
在句子“I read a book”中的"read"和在“I will read a book”中的"read"，尽管是同一个词，但在BERT模型中可能会有不同的向量表示，因为它们的时态不同