大语言模型（LLM）笔记

一、什么是大语言模型（LLM）？

LLM（Large Language Model） 是基于 Transformer 架构构建，并在海量文本语料上训练出的具备自然语言理解和生成能力的深度神经网络模型。

其本质任务是**预测下一个 token（词/字/符号）**的概率分布，但通过大规模参数和数据的支持，表现出类人智能的行为。

二、核心架构：Transformer

由 Google 在 2017 年提出，是目前 LLM 的主流架构。

Transformer 特点

• 自注意力机制（Self-Attention）：建模所有 token 间的依赖关系
• 位置编码：添加序列顺序信息
• 多头机制：捕获不同维度的语义
• 残差结构 + LayerNorm：稳定训练

三、训练范式：预训练 + 微调（Prompt Learning）

四、LLM 应用

RAG（Retrieval-Augmented Generation）

“用大模型回答问题，但知识来源来自自己”

原理

通过检索器获取相关文本，再将其连同用户问题一并输入到大模型中生成回答。

技术流程

技术栈组件

• 向量数据库：FAISS、Milvus、Pinecone
• Embedding 模型：OpenAI、bge-base、m3e
• 检索器：语义搜索 / BM25 混合
• 构造 Prompt：Chunk 拼接或摘要

应用场景

• 私有知识库问答
• 法律、金融、医疗文档理解
• 企业级文档助手 / RAG ChatBot

Agent（智能体系统）

“让大模型像人一样思考、行动、调用工具”

概念

Agent 是结合 LLM、任务规划与工具调用能力的执行体，能够模拟多轮决策过程。

执行流程

用户提问 → LLM 规划意图 → 调用工具/API → 得到中间结果 → 再决策 → 最终回答

常用框架

• LangChain Agent
• OpenAI Function Calling / Assistant API
• CrewAI（多 Agent 协同）
• AutoGPT（任务型 Agent）

应用场景

• 多轮任务助手（报表生成、数据分析）
• 具备记忆的 AI 角色（助理、法务、客服）
• 多功能插件集成（搜索、浏览器、计算器）

MCP（Multi-Component Prompting）

“把复杂任务模块化提示工程实现精准控制”

概念

MCP 是将一个大任务拆分成多个子任务/模块，每个模块用独立 Prompt 描述，结果串联执行。

示例结构

任务：软件开发需求 → 多组件提示如下：

1️⃣ 功能需求分析 Prompt  
2️⃣ 领域术语解释 Prompt  
3️⃣ 接口定义 Prompt  
4️⃣ 测试用例生成 Prompt  
5️⃣ 架构建议 Prompt

优点

• 可调试、可维护、易重用
• 提高准确性与鲁棒性
• 适合构建低代码 AI 工作流系统

应用场景

• 编程辅助系统（DevCopilot）
• AI 产品经理（写需求、定义模块）
• 教育类内容生成（按知识点分段）

五、三者协同应用范式

三者结合是构建大模型应用的主流路径，如企业问答 + 插件调用 + 多步流程编排。

六、大模型应用生态与项目案例

七、一图看懂：LLM 应用生态

八、总结

大模型是“智能大脑”，但要让它真正服务于业务，需要 RAG 补“知识”、Agent 管“行为”、MCP 拆“结构”，三者结合形成 AI 原子能力组合，是构建现代 AI 应用的核心方法论。

LangChain vs Spring AI：构建 RAG + Agent 的对比与实战

一、LangChain 是什么？

LangChain 是一个专为构建大语言模型（LLM）应用设计的 Python 框架，强调：

• RAG（检索增强生成）
• Agent（多步推理与工具调用）
• Memory（上下文记忆）
• 工具链生态（向量库、模型、工具集成）

优点：

• 社区活跃，生态丰富
• 与 OpenAI、Llama、FAISS、Chroma、Pinecone 等集成紧密
• 非常适合快速构建复杂的 LLM 工作流

二、Spring AI 是什么？

Spring AI 是 Spring 官方推出的 Java 生态中的 LLM 应用开发框架，目标是让 Java 开发者也能优雅地调用大模型（OpenAI, Ollama, Azure）构建智能应用。

特点：

• Spring Boot 风格、注解驱动
• 支持 Embedding、RAG、Chat 模型
• 配合向量数据库（Postgres, Milvus, Redis）构建问答系统
• 主要聚焦 RAG，目前 Agent 功能较弱但在发展中

三、RAG 构建对比：LangChain vs Spring AI

LangChain RAG 示例（Python）

from langchain.chains import RetrievalQA
from langchain.vectorstores import FAISS
from langchain.embeddings import OpenAIEmbeddings
from langchain.llms import OpenAI
from langchain.document_loaders import TextLoader

# 1. 加载文档并生成向量索引
loader = TextLoader("your_docs.txt")
docs = loader.load()
vectorstore = FAISS.from_documents(docs, OpenAIEmbeddings())

# 2. 构建检索器+问答链
retriever = vectorstore.as_retriever()
qa = RetrievalQA.from_chain_type(llm=OpenAI(), retriever=retriever)

# 3. 执行问答
qa.run("公司加班制度是？")

Spring AI RAG 示例（Java / YAML 配置）

spring:
  ai:
    openai:
      api-key: your-api-key
      chat:
        model: gpt-3.5-turbo
    vectorstore:
      type: pgvector
      index-name: documents

@Service
public class HRBot {

    private final ChatClient chatClient;

    public HRBot(ChatClient chatClient) {
        this.chatClient = chatClient;
    }

    public String ask(String question) {
        Prompt prompt = Prompt.builder()
            .system("你是企业员工手册智能助手")
            .user(question)
            .build();

        return chatClient.call(prompt).getResult().getOutput().getContent();
    }
}

可以结合 RagRetriever 和 EmbeddingClient 自动实现向量检索 + prompt 注入。

四、Agent 构建对比

LangChain Agent 示例

from langchain.agents import initialize_agent, Tool
from langchain.tools import SerpAPIWrapper
from langchain.llms import OpenAI

search = SerpAPIWrapper()
tools = [Tool(name="Google Search", func=search.run, description="搜索引擎")]

agent = initialize_agent(tools, OpenAI(), agent="zero-shot-react-description", verbose=True)
agent.run("Who is the CEO of OpenAI and their latest news?")

五、总结：如何选择？