潜在推理

Latent Reasoning进阶

让模型在内部隐藏状态里完成多步推理，而不是逐字写出思维链。

思维链（Chain-of-Thought）让大模型先用文字写出中间推理步骤再给答案，效果好，但每一步都要生成 token，既慢又受限于语言。潜在推理把中间步骤放进模型的连续隐藏状态：Meta 等 2024 年 12 月提出的 Coconut 把模型最后一层的隐藏状态当作一步「连续思维」，不解码成文字，直接作为下一步的输入嵌入，在需要大量搜索的逻辑推理题上优于文字思维链，生成的 token 也更少。2025 年 7 月的一篇综述把这一方向定义为完全在连续隐藏状态中进行、去掉逐 token 监督的推理。具身智能里，VLA 既要推理又要求低延迟，因此也借鉴这一思路，例如 ThinkAct 把多模态大模型生成的推理计划压缩成一个「视觉计划隐变量」，用它引导下游动作模型。代价是中间过程不可读，难以检查和调试。