NL2SQL模型应用实践-解决上百张表筛选问题

用一个最简单的例子说明NL2SQL模型如何使用，假设我们只有3张表，并通过分步演示整个流程。

数据库表结构（3张表）

1. 学生表(students)

   CREATE TABLE students (
       student_id INT PRIMARY KEY,
       name VARCHAR(50),
       age INT,
       class_id INT  -- 外键关联classes表
   );
   

   student_id	name	age	class_id
   1	张三	18	101
   2	李四	19	102

2. 课程表(courses)

   CREATE TABLE courses (
       course_id INT PRIMARY KEY,
       course_name VARCHAR(50),
       teacher VARCHAR(50)
   );
   

   course_id	course_name	teacher
   201	数学	王老师
   202	英语	李老师

3. 选课表(enrollments)

   CREATE TABLE enrollments (
       enrollment_id INT PRIMARY KEY,
       student_id INT,  -- 外键关联students表
       course_id INT    -- 外键关联courses表
   );
   

   enrollment_id	student_id	course_id
   301	1	201
   302	2	202

步骤1：用户输入自然语言问题

问题：
“找出选了数学课的所有学生姓名”

步骤2：自动选择相关表
通过简单的关键词匹配（实际应用可用更复杂的NLP方法）：

1. “数学课” → 匹配courses表的course_name字段
2. “学生姓名” → 匹配students表的name字段
3. 需要关联表 → enrollments表包含学生和课程的关联

最终选择表：
students, courses, enrollments

步骤3：生成表结构描述（Prompt）
将表结构转换为NL2SQL模型能理解的文本描述：

数据库表结构：
1. 表名: students
   字段:
    - student_id (整数): 学生ID
    - name (字符串): 学生姓名
    - age (整数): 学生年龄
    - class_id (整数): 班级ID

2. 表名: courses
   字段:
    - course_id (整数): 课程ID
    - course_name (字符串): 课程名称
    - teacher (字符串): 授课老师

3. 表名: enrollments
   字段:
    - enrollment_id (整数): 选课记录ID
    - student_id (整数): 关联students表
    - course_id (整数): 关联courses表

表关联关系:
  - enrollments.student_id → students.student_id
  - enrollments.course_id → courses.course_id

步骤4：NL2SQL模型输入（示例）

输入 = """
问题：找出选了数学课的所有学生姓名

数据库表结构：
[上述表结构描述]
"""

步骤5：模型输出SQL

SELECT s.name
FROM students s
JOIN enrollments e ON s.student_id = e.student_id
JOIN courses c ON e.course_id = c.course_id
WHERE c.course_name = '数学';

步骤6：执行SQL得到结果

关键点总结

1. 表选择：通过问题中的关键词（“学生”、“数学课”）锁定students、courses和关联表enrollments
2. Prompt构建：清晰描述表字段和关联关系
3. 模型输出：生成正确的三表JOIN操作和过滤条件

对比：如果没有表选择步骤
假设将所有表结构都输入模型：

数据库表结构：
[包含数百张表的完整描述...]

会导致：

• 模型输入过长
• 生成错误SQL的概率增加
• 计算资源浪费

当面对数百张表时，高效筛选与用户问题相关的表是NL2SQL应用的关键。

一、核心问题分析

NL2SQL 模型的输入通常包括：

1. 自然语言问题：用户的查询语句（如 “查询 2023 年上海地区的销售额”）。
2. 数据库模式（Schema）：表名、字段名、字段类型、表间关系等。

当表数量庞大时，直接输入全量表结构会导致：

• 模型过载：输入维度爆炸，影响生成 SQL 的准确性。
• 效率低下：解析全量数据耗时，无法满足实时查询需求。

核心目标：通过动态筛选相关表，仅向模型提供与问题相关的少量表结构。

二、整体思路

三、表筛选策略

1. 元数据匹配（轻量级）

建立表/列名的语义索引：

from sklearn.feature_extraction.text import TfidfVectorizer

# 元数据示例
table_metadata = {
    "sales_records": "存储客户交易数据，包括订单号、金额、日期",
    "customer_info": "客户基本信息表，含姓名、电话、地址",
    "product_catalog": "商品信息表，含商品ID、名称、类别"
}

# 创建元数据索引
vectorizer = TfidfVectorizer()
corpus = list(table_metadata.values())
tfidf_matrix = vectorizer.fit_transform(corpus)

def find_relevant_tables(query, top_k=3):
    query_vec = vectorizer.transform([query])
    cosine_sim = (query_vec * tfidf_matrix.T).toarray()[0]
    sorted_indices = cosine_sim.argsort()[::-1][:top_k]
    return [list(table_metadata.keys())[i] for i in sorted_indices]

# 使用示例
query = "找出上海客户的最近订单金额"
tables = find_relevant_tables(query)  # 返回 ['sales_records', 'customer_info']

2. 向量检索（高精度）

使用Embedding模型增强语义理解：

from sentence_transformers import SentenceTransformer
import numpy as np

# 加载预训练模型
model = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2')

# 生成表描述向量
table_descriptions = list(table_metadata.values())
table_embeddings = model.encode(table_descriptions)

def vector_based_search(query, top_k=3):
    query_embedding = model.encode([query])
    similarity = np.dot(query_embedding, table_embeddings.T)[0]
    top_indices = similarity.argsort()[::-1][:top_k]
    return [list(table_metadata.keys())[i] for i in top_indices]

# 使用示例
query = "统计电子产品季度销售额"
tables = vector_based_search(query)  # 返回 ['sales_records', 'product_catalog']

3. 图关系分析（处理复杂查询）

构建表关系图谱实现关联表发现：

import networkx as nx

# 构建表关系图
schema_graph = nx.Graph()
schema_graph.add_edges_from([
    ("sales_records", "customer_info", {"key": "customer_id"}),
    ("sales_records", "product_catalog", {"key": "product_id"}),
    ("customer_info", "region_data", {"key": "region_id"})
])

def expand_related_tables(seed_tables, depth=1):
    related = set(seed_tables)
    for table in seed_tables:
        neighbors = nx.neighbors(schema_graph, table)
        related.update(neighbors)
    return list(related)

# 使用示例
seed_tables = ["customer_info"]  # 初步筛选的表
full_set = expand_related_tables(seed_tables)  # 返回 ['customer_info', 'sales_records', 'region_data']

四、NL2SQL模型集成方案

1. 完整工作流

def nl2sql_with_table_selection(user_query, all_tables):
    # 步骤1: 初步表筛选
    seed_tables = vector_based_search(user_query, top_k=2)
    
    # 步骤2: 关系扩展
    selected_tables = expand_related_tables(seed_tables)
    
    # 步骤3: 获取表结构
    table_schemas = get_table_schemas(selected_tables)
    
    # 步骤4: NL2SQL推理
    sql = nl2sql_model.generate(
        question=user_query,
        schema=table_schemas
    )
    return sql

# 示例调用
user_query = "计算上海客户购买手机的平均金额"
sql = nl2sql_with_table_selection(user_query, all_tables)

2. 表结构描述优化

生成Schema描述：

def get_table_schemas(table_names):
    schemas = []
    for name in table_names:
        # 获取列信息
        columns = database.get_columns(name)
        # 构建描述
        schema_desc = f"表名: {name}\n描述: {table_metadata[name]}\n字段:"
        for col in columns:
            schema_desc += f"\n  - {col['name']} ({col['type']}): {col['comment']}"
        
        # 添加主外键关系
        fks = database.get_foreign_keys(name)
        if fks:
            schema_desc += "\n关联关系:"
            for fk in fks:
                schema_desc += f"\n  - {fk['from']} → {fk['to_table']}.{fk['to_column']}"
        
        schemas.append(schema_desc)
    
    return "\n\n".join(schemas)

五、解决方案架构

组件说明：

1. 元数据索引：Elasticsearch存储表/列描述
2. 向量数据库：FAISS/Pinecone存储表描述向量
3. 图数据库：Neo4j管理表关系
4. 表筛选服务：综合多种策略输出精简表集合
5. NL2SQL模型：基于T5/Codex的微调模型

六、实践案例

问题：
“查询2023年Q3华东地区销售额Top 10的电子产品及其供应商”

表筛选过程：

1. 向量检索识别核心表：sales_records, product_catalog
2. 图关系扩展：
   • sales_records → region_data (地区信息)
   • product_catalog → supplier_info (供应商)
3. 最终表集合(4张)：
   sales_records, product_catalog, region_data, supplier_info

NL2SQL输入：

问题：查询2023年Q3华东地区销售额Top 10的电子产品及其供应商

表结构：
1. 表名: sales_records
   描述: 销售记录表
   字段:
     - order_id (int): 订单ID
     - product_id (int): 商品ID
     - region_id (int): 地区ID
     - sale_amount (float): 销售金额
     - sale_date (date): 销售日期

2. 表名: product_catalog
   描述: 商品信息表
   字段:
     - product_id (int): 商品ID
     - product_name (varchar): 商品名称
     - category (varchar): 商品类别
     - supplier_id (int): 供应商ID

3. 表名: region_data
   描述: 地区信息表
   字段:
     - region_id (int): 地区ID
     - region_name (varchar): 地区名称

4. 表名: supplier_info
   描述: 供应商信息表
   字段:
     - supplier_id (int): 供应商ID
     - supplier_name (varchar): 供应商名称

关联关系:
  - sales_records.product_id → product_catalog.product_id
  - sales_records.region_id → region_data.region_id
  - product_catalog.supplier_id → supplier_info.supplier_id

生成SQL：

SELECT 
    p.product_name,
    s.supplier_name,
    SUM(sr.sale_amount) AS total_sales
FROM sales_records sr
JOIN product_catalog p ON sr.product_id = p.product_id
JOIN region_data r ON sr.region_id = r.region_id
JOIN supplier_info s ON p.supplier_id = s.supplier_id
WHERE r.region_name = '华东'
  AND sr.sale_date BETWEEN '2023-07-01' AND '2023-09-30'
  AND p.category = '电子产品'
GROUP BY p.product_name, s.supplier_name
ORDER BY total_sales DESC
LIMIT 10;

通过组合元数据匹配、向量检索和图关系分析，可有效从数百张表中筛选出3-5张核心表，既满足NL2SQL模型的输入要求，又确保生成SQL的准确性。实际应用中结合缓存机制优化性能。