目录
✅ 2. 冻结部分层微调（Partial Fine-tuning）
🔸 3.1 LoRA（Low-Rank Adaptation）
🔸 3.3 Prompt Tuning / Prefix Tuning
✅ 4. 微调分类头（Head-only Fine-tuning）
✅ 5. 增量式微调（Continual Fine-tuning）
✅ 6. 多任务微调（Multi-task Fine-tuning）
✅ 10. 检索增强微调（Retrieval-augmented Fine-tuning）
在大模型时代，预训练模型为我们提供了强大的基础能力，而微调（Fine-tuning）则让这些“通用大脑”更懂你的业务。本篇博客将系统梳理十种主流微调方式，覆盖从最常用的全量微调到高阶的参数高效策略，为你的项目选型和落地提供实用指南。
一、为什么要微调？
预训练模型如 BERT、GPT、Qwen 等，虽然具备强大通用能力，但在特定任务（如法律问答、情感分析、智能客服）中仍需**“再教育”**，这就是微调。
它的本质是：在原始模型的基础上，针对任务或领域进行再训练，以提升性能、适应性与实用性。
二、微调的 10 种主流方式
✅ 1. 全参数微调（Full Fine-tuning）
🔹 方式：更新模型中所有参数。
🔹 优点：效果最佳，模型彻底适应任务。
🔹 缺点：训练成本高，计算资源大。
📌 适合场景：大数据 + 强算力，例如企业内部 NLP 引擎升级。
✅ 2. 冻结部分层微调（Partial Fine-tuning）
🔹 方式：冻结部分层（如前几层），只更新后几层或任务头部。
🔹 优点：节省资源，训练更快。
🔹 缺点：适应能力有限。
📌 适合场景：中小模型、迁移学习任务，如情感分类或命名实体识别。
✅ 3. 参数高效微调（PEFT）
PEFT 是当前火热的大模型调优方式，只引入少量新参数，保留原模型参数不变，代表方法包括：
🔸 3.1 LoRA（Low-Rank Adaptation）
插入低秩矩阵，更新量极小但效果好。
✅ QLoRA 等大模型方案广泛应用。
🔸 3.2 Adapter
每层插入小模块，只训练 Adapter 部分。
🔸 3.3 Prompt Tuning / Prefix Tuning
添加可训练的提示向量，不改变主模型。
📌 适合场景：部署大模型（如千亿参数）、多个任务共享主模型。
✅ 4. 微调分类头（Head-only Fine-tuning）
🔹 方式：只训练输出层（如分类器）。
🔹 优点：最快最省资源。
🔹 缺点：适应性较弱，模型理解力有限。
📌 适合场景：快速实验、小数据任务、特征提取后分类。
✅ 5. 增量式微调（Continual Fine-tuning）
🔹 方式：在已有模型基础上不断引入新数据微调。
🔹 挑战：防止“灾难性遗忘”。
📌 适合场景：在线学习、用户定制化模型、长周期服务。
✅ 6. 多任务微调（Multi-task Fine-tuning）
🔹 方式：一个模型同时处理多个任务（如问答 + 摘要 + 翻译）。
🔹 优势：任务间共享知识，提升泛化能力。
📌 适合场景：多功能机器人、AI助手、All-in-One 模型。
✅ 7. 领域自适应微调（Domain Adaptive）
🔹 方式：先用目标领域文本（无标签）进行“预微调”，再做任务微调。
🔹 两阶段：
在领域语料上继续 MLM（Masked Language Modeling）；
做具体任务微调。
📌 适合场景：医疗、法律、金融等专业场景。
✅ 8. 混合微调（Hybrid Fine-tuning）
🔹 方式：组合多个微调策略（如 LoRA + Prefix + Adapter）。
🔹 优势：性能和效率兼顾。
📌 适合场景：高性能定制需求，多个策略测试阶段。
✅ 9. BitFit 微调（只调 bias）
🔹 方式：只训练偏置项（bias），其余参数全部冻结。
🔹 特点：极度轻量，常被用于极限对比实验。
📌 适合场景：极端算力限制或快速实验场景。
✅ 10. 检索增强微调（Retrieval-augmented Fine-tuning）
🔹 方式：结合知识库检索与生成模型训练，如在 RAG 框架中对生成器和检索器联合优化。
🔹 优势：兼顾知识准确性与生成能力。
📌 适合场景：知识问答、多轮对话、文档生成。
三、对比总览
| 微调方式 | 参数量 | 成本 | 适应性 | 推荐场景 |
|---|---|---|---|---|
| 全参数微调 | ⭐⭐⭐⭐ | 💰💰💰💰 | ✅✅✅✅ | 自有数据+算力，追求极致效果 |
| 部分层微调 | ⭐⭐ | 💰💰 | ✅✅ | 中小模型迁移学习 |
| PEFT（LoRA等） | ⭐ | 💰 | ✅✅✅ | 大模型高效调优 |
| 分类头微调 | ⭐ | 💰 | ✅ | 快速实验、小样本分类 |
| 增量微调 | ⭐⭐ | 💰💰 | ✅✅✅ | 在线学习、长期服务 |
| 多任务微调 | ⭐⭐⭐ | 💰💰💰 | ✅✅✅ | 多功能场景 |
| 领域自适应 | ⭐⭐ | 💰💰 | ✅✅✅✅ | 医疗/法律/金融 |
| 混合微调 | ⭐⭐ | 💰💰 | ✅✅✅✅ | 高性能定制 |
| BitFit | ⭐ | 💰 | ✅ | 极限轻量测试 |
| 检索增强微调 | ⭐⭐⭐ | 💰💰💰 | ✅✅✅✅ | 知识问答、RAG系统 |
四、选型建议
| 你的情况 | 建议微调方式 |
|---|---|
| 🧪 只有少量标注数据 | 分类头微调 / Adapter |
| 💻 资源有限但想用大模型 | LoRA / Prefix Tuning |
| 🏥 行业数据专业术语多 | 领域适应 + 全微调 |
| 🧩 多个任务同时执行 | 多任务微调 |
| 🤖 长期更新 + 新数据接入 | 增量式微调 |
| 📚 知识库问答/文档生成 | RAG + 检索增强微调 |
| 你是... | 推荐微调方式 |
|---|---|
| 中小企业开发专属AI助手 | LoRA + Head 微调（高效又实用） |
| 医疗/法律/金融产品开发者 | 领域自适应 + 任务微调 |
| 想发布自己的中文大模型 | 全参数微调（包含二阶段预训练） |
| 算力有限的个人开发者 | LoRA / Prefix Tuning / BitFit |
| 想构建对话+搜索系统 | RAG + 检索增强微调 |
五、各种微调方式的应用领域分析
| 微调方式 | 应用领域 | 实际案例或说明 |
|---|---|---|
| 1. 全参数微调 | 📚 法律/医疗/金融领域的高精度NLP任务🔬 自定义大型语言模型 | - 法律文书生成（如 LexLM）- 医疗问答系统（如 MedGPT）- 企业内部大模型定制化 |
| 2. 部分层微调 | ✉️ 文本分类、情感分析🔖 多语言模型的快速适配 | - 微博情绪分类、客服对话意图识别- 英文模型迁移到中文 |
| 3. 参数高效微调（PEFT）↪ LoRA / Adapter / Prompt Tuning | 🌐 大语言模型领域（LLM）最广泛应用！🧠 多任务推理/对话系统📦 云端部署模型调优 | - ChatGPT、Qwen 等 API 使用场景- 多租户模型（每个客户加载自己的 LoRA）- 国内项目如 Baichuan、Yi 等均支持 LoRA |
| 4. 微调分类头 | 📄 小型文本分类任务🏷 关键词打标、评论情绪分类 | - 新闻分类、用户评论评分预测- 结构化信息抽取的最后一层 |
| 5. 增量式微调（Continual） | 📈 模型长期演进更新🧑💼 企业定制化语料补充 | - 企业私有模型每月更新新语料- 用户对话个性化微调 |
| 6. 多任务微调 | 🤖 多功能 AI 助手 / 智能客服🧾 问答+翻译+摘要等任务整合 | - 办公助手类产品（如阿里通义千问）- 教育场景中阅读理解+写作指导 |
| 7. 领域自适应微调 | ⚖️ 医疗、法律、金融、工业等专业领域 | - 法律助手预训练 + 问答任务微调- 医疗模型如 BioBERT、PubMedBERT |
| 8. 混合微调 | 🏗 高复杂度系统（如私有部署LLM）🔬 精调实验研究 | - 企业内部研发结合 LoRA + Adapter- 提升极端任务下模型表现 |
| 9. BitFit | 🧪 学术研究 / 快速验证场景 | - 与 LoRA 对比研究用- 实验 bias-only 微调策略 |
| 10. 检索增强微调（RAG） | 📚 知识问答系统🔎 多轮对话问答 + 实时检索 | - ChatLaw、ChatMed 等法律/医学 RAG 系统- 文档问答机器人 |
六、 应用最广的几种微调方式
根据当前的工业应用、开源项目趋势和研究文献，使用最广泛的微调方式有以下三种：
✅ 1. 参数高效微调（PEFT）
为什么广泛：
支持大模型（如 Qwen-72B、ChatGLM3-6B）在算力有限情况下调优
LoRA 可独立保存、快速加载 → 非常适合 云端部署 + 多客户并行
应用领域：几乎所有部署大语言模型的公司/产品都在使用 LoRA
✅ 2. 全参数微调
为什么广泛：
虽然成本高，但在企业自建大模型时不可避免
适合进行模型压缩、量化前的最终版本训练
应用领域：阿里、百度、字节等训练自有千亿参数模型时广泛使用
✅ 3. 领域自适应微调
为什么广泛：
通用模型无法很好理解医学、法律等专业术语
先在无标签专业语料预微调，效果远胜直接任务微调
应用领域：法律咨询系统、临床问答机器人、财报解析助手
七、结语
微调不只是“继续训练”，而是结合业务、任务和资源进行模型能力“定制”的艺术。从全参数微调到参数高效调优，从领域适应到多任务训练，不同场景下的微调策略千变万化，关键在于理解需求，合理选型。