【论文解读】rStar：用互洽方法增强 SLM(小型语言模型) 推理能力

1st author: Zhenting Qi

paper: [2408.06195v1] Mutual Reasoning Makes Smaller LLMs Stronger Problem-Solvers

code: zhentingqi/rStar

5. 总结 (结果先行)

rStar 提出了一种新颖且有效的框架，通过模拟人类的互洽推理过程，在不依赖外部监督或强教师模型的情况下，显著增强了小型语言模型的复杂推理能力。它巧妙地结合了 MCTS 的探索能力、更丰富的行动空间以及创新的互洽一致性验证机制，为提升 SLM 的“思考”质量提供了新的途径。

这项工作揭示了即便是参数量较小的模型，也蕴含着强大的潜能，关键在于如何设计有效的引导和验证策略来释放这些潜能。rStar 的成功为未来探索更高级的 SLM 自我进化和协作推理机制提供了有益的启示。后续研究可以进一步探索更高效的 MCTS 变体、更智能的行动选择策略，以及多模型协作推理的更多可能性。

1. 思想

论文提出了一种名为 rStar (Self-play muTuAl Reasoning) 的新方法，旨在提升小型语言模型 (SLMs) 在复杂推理任务上的性能，而无需进行模型微调或依赖更强大的 “教师”模型 。

思想源于对当前 SLM 自我提升方法瓶颈的察觉：

1. 探索效率低下：SLMs 在广阔的解空间中进行自我探索时，往往容易陷入低质量推理步骤的循环，难以发现优质解。
2. 评估能力不足：即使 SLMs 偶尔能生成高质量的推理步骤，它们自身也难以准确判断哪些步骤更优，或哪个最终答案是正确的，尤其在缺乏外部反馈时。

思想: rStar 通过一种自博弈 (self-play) 的互洽生成-判别 (mutual generation-discrimination) 过程来解耦和优化推理过程，模拟了人类在缺乏绝对权威指导时，通过同行评议或相互验证来增强结论可靠性的方式。简而言之，如果两个能力相当的“思考者”独立地（或基于部分相同前提）得出了相似的推理路径和结论，那么这个路径和结论更可信。

2. 方法详解

rStar 的工作流程可以概括为图2所示的三个主要步骤：

1. 候选推理轨迹的自生成 (Self-Generator SLM₁ + MCTS)：

   • 目标：利用目标 SLM (记为 SLM₁) 生成多样化且高质量的候选推理轨迹。

   • 机制：采用蒙特卡洛树搜索 (MCTS) 来指导 SLM₁ 的多步推理过程。MCTS 是一种启发式搜索算法，通过在决策空间中构建搜索树，并根据模拟结果（rollouts）来平衡探索（exploration）和利用（exploitation）。

   • 增强的行动空间 (Action Space)：与传统 MCTS 方法通常只采用单一行动（如生成下一步或子问题）不同，rStar 为 SLM₁ 设计了一个更丰富的、模拟人类解题行为的行动集合 A = { A 1 , A 2 , A 3 , A 4 , A 5 } A = \{A_1, A_2, A_3, A_4, A_5\} A={A1​,A2​,A3​,A4​,A5​}：

     • $A_1$: 提出单步思考 (Propose a one-step thought)。
     • $A_2$: 完成剩余思考步骤 (Complete remaining thought)。
     • $A_3$: 提出下一个子问题并回答 (Propose next sub-question & answer)。
     • $A_4$: 重新回答子问题 (Re-answer the sub-question)，通常使用 few-shot CoT。
     • $A_5$: 重述问题/子问题 (Rephrase the question)，旨在澄清理解。
       这些行动使得 MCTS 搜索更具灵活性和针对性。

   • 奖励函数 (Reward Function) $Q(s,a)$：对于一个节点 $s$（代表当前推理状态）和一个行动 $a$，其奖励值 $Q(s,a)$ 的设计借鉴了 AlphaGo 的思想，即中间节点的价值取决于其对最终获得正确答案的贡献。

     • 初始时，未探索节点的 $Q(s_i,a_i)=0$。
     • 当搜索到达一个叶节点 $s_d$ (terminal node，代表一个完整的推理轨迹) 时，计算其奖励 $Q(s_d,a_d)$。该奖励基于自洽性 (self-consistency) 的多数投票结果的置信度。具体来说，通过多次采样生成最终答案，并以多数答案的出现频率作为置信度得分。
     • 该叶节点奖励 $Q(s_d,a_d)$ 会反向传播更新路径上所有父节点的奖励：对于路径 $x\to s_1\to \cdots \to s_d$ 上的任意中间节点 $s_i$ 及其对应行动 $a_i$，奖励更新为 $Q(s_i,a_i)\leftarrow Q(s_i,a_i)+Q(s_d,a_d)$。

   • MCTS 搜索与 UCT 选择：在 MCTS 的选择阶段，rStar 使用标准的 UCT (Upper Confidence Bound 1 applied to Trees) 算法来选择下一个要扩展的节点：
     $$UCT(s,a)=\frac{Q(s,a)}{N(s,a)}+c\sqrt{\frac{\ln N(s_p,a_p)}{N(s,a)}}$$
     其中：

     • $s$：当前状态，$s_p$：当前状态的 parent 状态。
     • $Q(s,a)$ 是行动 $a$ 在状态 $s$ 下的估计价值（累积奖励）。
     • $N(s,a)$ 是边 $(s,a)$ 被访问的次数。
     • $c$ 是一个探索常数，用于平衡利用和探索。

2. 基于互洽一致性的解路径验证 (Discriminator SLM₂)：

   • 目标：对 SLM₁ 生成的候选推理轨迹进行有效筛选，找出更可靠的路径。
   • 机制：引入另一个能力与 SLM₁ 相当的 SLM (记为 SLM₂) 作为判别器。对于 SLM₁ 生成的每条候选轨迹 $t=x\oplus s_1\oplus s_2\oplus \cdots \oplus s_d$（其中 $x$ 是初始问题，$s_i$ 是第 $i$ 个推理步骤，$\oplus$ 代表连接），执行以下操作：
     1. 随机选择一个切分点 $i<d$，将轨迹分为前半部分 $t_{prefix}=x\oplus s_1\oplus \cdots \oplus s_{i-1}$ 和后半部分 $t_{suffix}=s_i\oplus \cdots \oplus s_d$。
     2. 将 $t_{prefix}$ 作为提示 (prompt) 输入给 SLM₂，要求其补全剩余的推理步骤并给出最终答案。
     3. 比较 SLM₂ 补全得到的答案与原始轨迹 $t$ 的答案。如果两者一致，则认为该轨迹 $t$ 通过了互洽一致性 (mutual consistency)检验，被视为一个“有效轨迹 (validate trajectory)”。
   • 原理：这种方法模拟了同行评审：如果另一个独立的思考者（SLM₂）在给定相同初始步骤的情况下，能够独立推导出相同的结论，那么这个结论的可靠性就更高。这为 SLM 提供了一种无需外部标注的反馈机制。

3. 最终推理轨迹的选择 (SLM₁)：

   • 经过互洽一致性验证后，会得到一个有效轨迹集合。
   • SLM₁ (作为主导者) 从这些有效轨迹中选择最终的解决方案。选择标准是结合轨迹的原始奖励（来自 MCTS 生成阶段的 $Q$ 值）和其在 MCTS rollout 过程中获得的终端节点置信度得分。具体来说，可以将 MCTS 奖励与自洽性投票的置信度相乘或以某种方式组合。
   • 得分最高的有效轨迹被选为最终输出。

3. 优势

rStar 方法相较于现有技术，展现出以下显著优势：

1. 无需微调或强教师模型：它在推理时增强 SLM 能力，不依赖额外的监督数据或更强大的模型进行知识蒸馏。
2. 提升探索质量：通过 MCTS 和更丰富的行动空间，SLM 能够更有效地探索解空间，生成更高质量的候选推理步骤。
3. 更可靠的验证机制：互洽一致性为 SLM 提供了一种比单纯的自评估（self-rewarding，在 SLM 中往往不可靠）更鲁棒的验证方式，有效避免了 SLM 因自身能力局限导致的评估偏差。
4. 普适性强：实验证明 rStar 对多种不同的 SLMs（如 LLaMA2-7B, Mistral-7B, LLaMA3-8B）和多种推理任务（数学、常识推理）均有显著效果。
5. 解决 SLM 自提升关键痛点：有效缓解了 SLM 在自我改进过程中面临的“探索难”和“评估难”两大核心问题。
6. 避免过拟合风险：相较于训练奖励模型的方法，rStar 的互洽验证机制降低了对特定任务或数据集过拟合的风险。

4. 实验

论文通过在多个基准数据集和多种 SLM 上的大量实验来验证 rStar 的有效性。

• 实验设置：

  • 模型：Phi3-mini (3.8B), LLaMA2-7B, Mistral-7B, LLaMA3-8B, LLaMA3-8B-Instruct。
  • 数据集：GSM8K (数学), GSM-Hard (数学), MATH (数学竞赛), SVAMP (数学), StrategyQA (常识推理)。
  • 对比基线：Few-shot CoT, Self-Consistency (SC@k), Tree-of-Thoughts (ToT), Reasoning via Planning (RAP)。
  • rStar (generator@maj)：表示仅使用 rStar 的生成器部分（MCTS）并采用多数投票进行答案验证，以展示生成器本身的效能。
  • 判别器 SLM₂：通常使用 Phi3-mini-4k，即使目标 SLM₁ 是更大的模型。

• 主要发现：
  

  1. 显著性能提升：rStar 在所有测试的 SLM 和数据集上均取得了SOTA或接近SOTA的性能。：
     • LLaMA2-7B：从 Few-shot CoT 的 12.51% 提升至 rStar 的 63.91%。
     • Mistral-7B：从 Few-shot CoT 的 36.46% 提升至 rStar 的 81.88% (甚至超过了微调的 MetaMath 77.7%)。
     • LLaMA3-8B-Instruct：从 Few-shot CoT 的 74.53% 提升至 rStar 的 91.13%。
  2. 生成器与判别器的协同作用：
     • rStar (generator@maj) 的结果表明，仅 MCTS 生成器部分就能比 RAP 等基线方法产生更好的候选集。
     • 完整的 rStar (包含判别器) 进一步大幅提升准确率，显示了互洽一致性验证的强大作用。
  3. 对挑战性数据集的有效性：在 GSM-Hard 和 MATH-500 等更难的数据集上，rStar 同样展现出比基线方法更强的性能。
  4. 丰富的行动空间至关重要：消融实验表明，包含全部5种行动的 rStar 比仅使用部分行动（如 RAP 仅用 $A_3$）效果更好。
  5. 判别器模型选择的鲁棒性：即使使用相对较小的 Phi3-Mini 作为判别器，也能有效提升 LLaMA3-8B-Instruct 的性能，使用更强的 GPT-4 作为判别器带来的提升有限，证明了互洽机制的有效性而非依赖判别器本身的强大。
  6. 少量 Rollouts 即有效：即使 MCTS 的 rollout 次数较少（如2次），rStar 也能显著提升性能，并在更多 rollouts 时持续受益。