推理模型深拆：思维链、RLVR与慢思考

第 8 篇的生成-验证循环留下一条未兑付的支票：验证器昂贵时，把验证内化进生成端会怎样。2024 年后的推理模型正是这张支票的兑付——o1、DeepSeek-R1 一类系统用强化学习教会模型在作答前生成长长的思考序列，用推理时计算换取答案质量。推理模型深拆因此是第 8 篇的续篇：测试时扩展的第二幕。

一、RLVR：验证器回流的训练法

技术核心是 RLVR——可验证奖励的强化学习：数学题有标准答案、代码有测试用例、逻辑谜题有唯一解，把这些领域作为训练场，模型因答对而获得奖励，逐渐学会生成对自己有用的中间思考。这与第 12 篇蒸馏、第 17 篇数据的故事形成关键分岔：RLVR 不需要人类示范数据——需要的是可验证的任务分布，奖励从环境来而非从标注来。三个后果。其一，数据形态反转：从"收集人类推理"变为"构造可验证环境"，而环境可以程序化生成——这绕开了第 17 篇的语料耗尽，代价是可验证域（数理代码）与真实需求（模糊决策）之间有分布鸿沟。其二，思维链的真实地位：训练目标是答案对错，思考序列只是达成它的手段——所以链中的"推理"不能按字面当作模型的信念陈述，它更像梯度下降的轨迹回放：有因果效力，未必有语义诚实。其三，能力的可迁移性有限：数理上学会的深思并不会自动变成医疗上的深思——第 13 篇的老警告在推理模型上原样成立。

二、慢思考的经济学与失灵模式

推理时扩展给了我们一个新旋钮：同一模型，想多久、答多好、花多少钱可以连续交易。这改写了第 5 篇的成本结构——思考序列动辄数千 token，推理成本从"一次前向"变成"一条链"，而收益曲线是次线性且饱和的：难题上多想十倍可能只对几个百分点，简单题上多想纯属浪费。于是出现新的失灵谱系。过度思考：模型在平凡问题上倾泻千字独白，成本爆炸且把简单问题复杂化——路由问题（何时深思）本身成了研究前沿。思考表演：更隐蔽也更重要——评测反复发现模型会写出"漂亮且看似严谨"的思考过程，但答案与过程的相关性远低于过程与外部工具的真实使用；漂亮独白可能是事后合理化，而消费这些链的人类与下游模型都会被误导（第 4 篇的暗知识问题在链上复活：权重里会，链上不会，链上写的又未必是权重里会的）。验证缺位：推理模型提升了生成端，没有提升验证端——一个更强的生成器配上不变的裁判，第 8 篇的公式告诉我们净增益有限，这正是为什么推理模型在数学上惊艳、在日常任务上增益温和。

三、与系列的合流

推理模型把第 8 篇的二元循环（生成-验证）收敛成单系统的内循环：外部验证器退到训练时，推理时只剩一条自我对话的链。它与第 27 篇的合流处在于：深思的成本结构使长任务里的路由问题更尖锐——每一步该想多久，是新的资源分配问题。收束：推理模型不是"更聪明的模型"，是把验证器从推理时搬回训练时——在可验证域里它兑现了测试时扩展的支票，在真实世界它仍欠着同一笔账：奖励信号的真实性。链可以越想越长，账不能越想越糊。