【RAGFlow代码详解-10】文本处理和查询处理

概述

文本处理和查询处理系统将自然语言查询转换为与 RAGFlow 的文档存储后端配合使用的优化搜索表达式。该系统支持中英文文本处理，具有专门的标记化、术语加权和查询增强技术。

核心组件

FulltextQueryer 类

FulltextQueryer 类是查询处理和文本分析的主要接口。它协调标记化、术语加权和查询构造。

系统使用预定义的查询字段进行初始化，这些字段在搜索期间接收不同的提升权重：

query_fields = [
    "title_tks^10",      # Title tokens (highest boost)
    "title_sm_tks^5",    # Title small tokens  
    "important_kwd^30",  # Important keywords (highest boost)
    "important_tks^20",  # Important tokens
    "question_tks^20",   # Question tokens
    "content_ltks^2",    # Content large tokens
    "content_sm_ltks"    # Content small tokens (base weight)
]

代币化系统

RagTokenizer 使用基于 trie 的方法进行中文文本分割，使用 NLTK 进行英文处理：

术语权重和评分

Dealer 类使用 IDF 分数和语言特征实现复杂的术语加权：

最终权重结合了以下因素： (0.3 * freq_idf + 0.7 * df_idf) * ner_weight * pos_weight

查询处理管道

问题处理

question（） 方法将用户查询转换为与 Elasticsearch 兼容的查询表达式：

文本预处理函数

该系统包括几个文本预处理实用程序：

相似性计算

混合相似性评分

hybrid_similarity（） 方法将向量相似性与基于标记的相似性相结合：

公式为： vector_sim * 0.7 + token_sim * 0.3

代币相似度算法

代币相似性使用加权术语匹配：

# Simplified version of the similarity calculation
def similarity(self, qtwt, dtwt):
    s = 1e-9  # Small constant to avoid division by zero
    for k, v in qtwt.items():
        if k in dtwt:
            s += v  # Add query term weight if present in document
    
    q = 1e-9  # Query normalization factor  
    for k, v in qtwt.items():
        q += v  # Sum all query term weights
        
    return s/q  # Normalized similarity score

段落处理

paragraph（） 方法通过从文本内容中提取和加权关键术语来生成基于内容的检索查询：

该方法构造具有动态最小匹配要求的查询：min（3， len（keywords） // 10）

与文档存储集成

查询处理系统生成与 RAGFlow 的文档存储层集成的 MatchTextExpr 对象：

配置和定制

系统使用多个可配置资源：