为什么共现矩阵是高维稀疏的？
共现矩阵（Co-occurrence Matrix）的高维稀疏性是其固有特性，主要由以下原因导致：
1. 高维性的根本原因
- 词汇表大小决定维度：
共现矩阵的维度为 ( V \times V )，其中 ( V ) 是词汇表的大小（即语料库中所有唯一单词的数量）。- 例如：一个包含10,000个唯一单词的语料库，共现矩阵的维度是 ( 10,000 \times 10,000 )，即1亿个元素。
- 词汇表通常很大：
自然语言的词汇量庞大（如英语有数十万常用词），导致共现矩阵的维度极高。
2. 稀疏性的根本原因
- 单词共现的局部性：
- 自然语言中，单词的共现是局部的（通常只在固定窗口内共现）。
- 例如：在句子“I like apples”中，只有“I”和“like”、“like”和“apples”共现，其他单词对（如“I”和“apples”）不会共现。
- 大多数矩阵元素为0：
- 对于任意两个单词 ( i ) 和 ( j )，它们在大多数窗口中不会同时出现，因此 ( M_{ij} = 0 )。
- 例如：在 ( 10,000 \times 10,000 ) 的矩阵中，可能只有不到1%的元素非零。
3. 高维稀疏性的具体表现
| 特性 | 描述 |
|---|---|
| 高维性 | 维度等于词汇表大小（通常数千到数十万），导致存储和计算成本极高。 |
| 稀疏性 | 大多数元素为0，非零元素仅占极小比例（如0.01%-1%）。 |
| 存储效率低 | 直接存储稀疏矩阵会浪费大量空间（如存储1亿个元素，其中99%是0）。 |
| 计算复杂 | 矩阵运算（如SVD降维）在稀疏矩阵上效率低，需要特殊优化（如稀疏矩阵算法）。 |
4. 为什么稀疏性无法避免？
- 自然语言的离散性：
单词是离散的符号，共现关系是稀疏的（大多数单词对不会同时出现）。 - 窗口限制：
共现统计通常基于固定窗口（如2-5个单词），进一步限制了共现范围。 - 长尾分布：
单词的共现频率服从长尾分布（少数高频词对共现次数多，大多数词对共现次数极少或为0）。
5. 稀疏性的影响与应对方法
| 影响 | 应对方法 |
|---|---|
| 存储成本高 | 使用稀疏矩阵存储格式（如CSR、CSC），只存储非零元素及其位置。 |
| 计算效率低 | 使用稀疏矩阵算法（如稀疏SVD、稀疏PCA），避免对零元素的冗余计算。 |
| 语义信息分散 | 通过降维技术（如SVD、NMF）将高维稀疏矩阵压缩为低维稠密向量。 |
| 过拟合风险 | 在降维或建模时加入正则化（如L1正则化），抑制噪声。 |
6. 稀疏性的案例说明
假设有一个小型语料库：
- “I like apples”
- “I like bananas”
- “You like oranges”
词汇表：[I, like, apples, bananas, You, oranges]
窗口大小=2，共现矩阵（仅显示部分）：
| I | like | apples | bananas | You | oranges | |
|---|---|---|---|---|---|---|
| I | 0 | 2 | 0 | 0 | 0 | 0 |
| like | 2 | 0 | 1 | 1 | 1 | 0 |
| apples | 0 | 1 | 0 | 0 | 0 | 0 |
| bananas | 0 | 1 | 0 | 0 | 0 | 0 |
| You | 0 | 1 | 0 | 0 | 0 | 1 |
| oranges | 0 | 0 | 0 | 0 | 1 | 0 |
- 高维性：矩阵维度为 ( 6 \times 6 )（实际语料库中维度更高）。
- 稀疏性：非零元素仅占 ( \frac{8}{36} \approx 22% )（实际语料库中通常低于1%）。
7. 稀疏性与词向量质量的关系
- 稀疏性≠低质量：
稀疏矩阵本身可以捕捉共现关系，但直接使用高维稀疏向量效率低。 - 降维的必要性：
通过SVD等降维技术，将稀疏矩阵压缩为低维稠密向量（如300维），同时保留主要语义信息。- 例如：降维后，“apples”和“bananas”的向量会更接近，反映语义相似性。
8. 总结：高维稀疏性的本质
- 高维性：由词汇表大小决定，反映单词的离散性。
- 稀疏性：由单词共现的局部性和自然语言的长尾分布决定。
- 应对策略：
- 存储：使用稀疏矩阵格式。
- 计算：使用稀疏矩阵算法。
- 建模：通过降维技术生成低维稠密词向量。
9. 延伸思考
- 如何量化稀疏性？
- 稀疏度 = ( \frac{\text{零元素数}}{\text{总元素数}} )。
- 例如：( 10,000 \times 10,000 ) 矩阵中，若非零元素为100万，则稀疏度为99%。
- 稀疏性与过拟合的关系？
- 稀疏矩阵可能导致模型学习到噪声（如罕见词对的共现），需通过正则化缓解。
- 现代NLP如何绕过稀疏性？
- 直接使用神经网络（如Word2Vec、BERT）生成稠密词向量，避免显式构建共现矩阵。