《论文阅读》传统CoT方法和提出的CoT Prompting的区分

论文：Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

作者对传统CoT方法和本文提出的CoT Prompting的区分。

1. 传统方法的局限性

(1) 基于微调的CoT（Rationale-Augmented Training）

• 实现方式：需人工标注大量〈输入，推理链，输出〉三元组，然后微调模型

  # 训练数据示例（需人工编写）
  {
    "input": "小明有5个苹果，吃了2个，还剩几个？",
    "rationale": "初始5个 - 吃掉2个 = 剩余3个",  # 人工撰写成本高
    "output": "3"
  }
  

• 限制：
  • 标注成本：撰写高质量推理链比单纯标注答案昂贵10-20倍（论文数据）
  • 泛化性差：每个新任务都需要重新微调

(2) 传统Few-Shot Prompting

• 典型结构（Brown et al., 2020）：

  输入: "3个苹果每个2元，总价多少？"  
  输出: "6元"
  
  输入: "火车2小时行驶240公里，时速多少？"  
  输出: "120公里/小时"
  
  输入: "问题..."  # 测试样本
  

• 缺陷：
  • 仅展示输入-输出对，缺乏推理过程示范
  • 在GSM8K数学题测试中，540B参数模型准确率仅17%（对比CoT Prompting的56%）

2. 本文创新：Chain-of-Thought Prompting

核心突破

通过提示工程而非微调，直接激发模型的推理能力：

输入: "小明有5个苹果，吃了2个，还剩几个？"
思考: 初始5个 - 吃掉2个 = 剩余3个  
输出: "3"

输入: "一个书包原价80元打7折，现价多少？"
思考: 80元 × 0.7 = 56元  
输出: "56元"

输入: "问题..."  # 测试样本

技术差异

3. 为什么Prompting版CoT更优？

(1) 数据效率

• 传统方法：需5000+标注样本才能微调出可用模型（Cobbe et al., 2021）
• 本文方法：仅需8个示范样例即可达到SOTA（GSM8K上56%准确率）

(2) 涌现能力

• 参数规模效应：当模型 > 100B参数时，CoT Prompting效果突然提升（见论文中的图2，如下）
  

• 传统Few-Shot：模型增大后性能提升平缓

(3) 任务泛化

• 统一框架：同一组提示模板可处理算术/常识/符号推理
• 传统方法：每类任务需独立微调

4. 案例验证

GSM8K数学题测试：

• 标准Prompting：

  输入: "农场有15只鸡和8头牛，共有多少条腿？"  
  输出: "46"  # 错误（未展示计算过程）
  

• CoT Prompting：

  输入: "农场有15只鸡和8头牛，共有多少条腿？"  
  思考: 鸡腿=15×2=30，牛腿=8×4=32，总腿数=30+32=62  
  输出: "62"  # 正确
  

结果：准确率从17% → 56%（540B参数模型）

5. 本质创新点

作者并非发明CoT概念，而是发现了：

1. 无需微调：通过精心设计的提示模板即可激发模型固有推理能力
2. 规模效应：超大模型（>100B）在少量示范下能自主生成高质量推理链
3. 通用接口：〈输入，思考链，输出〉三元组作为跨任务统一范式

这种方法的革命性在于：将推理能力从模型训练阶段解耦，转变为提示工程问题，使单个预训练模型能零样本处理复杂推理任务。