Cohere提出CALIBER：让推理模型分两段报告置信度

两个置信度回答两个问题

Cohere这篇官方博客从一个掷骰子概率题讲起：模型起初给出25%的置信度，算完得出1/6后升到88%。这两个数字都不是骰子结果的概率，而是模型对自己答对的估计。文章由此提出一个区分：推理开始前，模型只看到题目，它的置信度回答“我有多大可能解出这道题”；推理结束后，模型面对自己实际写出的答案，置信度回答“这个答案有多大可能正确”。

CALIBER的核心就是让模型在一次回答里同时报告这两个数：初始置信度、推理过程、答案、最终置信度。两者可以不一致，因为推理过程本身会带来新信息——可能发现原先觉得简单的问题藏着错误假设，也可能在难题上逐步确认答案。文章强调，能写出详细推理过程，并不保证模型能可靠评估和表达自己的不确定性。

训练目标怎么定

训练初始置信度时，研究者让模型对同一道题尝试多次。若十次中七次成功，70%就成为训练目标，它刻画的是当前模型解这道题的一般成功率，与具体哪一次尝试无关。最终置信度则针对单次答案：同题的成功尝试与失败尝试共享同一个初始置信度目标，但最终置信度目标不同。文中举例，四次尝试三次成功，初始目标为75%；第四次答错，其最终置信度目标为0。

这两个置信度奖励与答对奖励结合使用。模型既被鼓励解对题，也被鼓励准确评估自己的把握。文章特别说明：对错误答案表现出不确定，可以改善置信度奖励，但拿不到答对奖励，因此不会鼓励模型靠“认怂”换分。

为什么“每次都报70%”不够

文章用一个假想例子说明单一置信度的局限：一个模型答对70%的题，且每次都报70%置信度，整体校准看似完美，但若用户只能抽查少数答案，这些相同分数无法帮助挑选。另一个整体准确率相同的模型，把一半答案标为90%、一半标为50%，若两组实际正确率分别接近90%和50%，它同样校准良好，却更有用——用户可以优先检查低置信度答案。

因此CALIBER同时看两个指标：ECE衡量置信度与观察到的正确率是否吻合，越低越好；AUROC衡量正确答答案是否倾向于获得比错误答案更高的置信度，越高越好。文章认为两者合起来才能说明置信度是否既可靠又有区分力。

基准上的数字

实验在3万道数学题上训练7B和30B模型，在1000道留出题及三个问答基准上评估。CALIBER报告的校准指标针对最终置信度。在BigMathDigits上，7B模型的ECE从最强单置信度基线的0.059降到0.028，降幅52.5%，AUROC为0.806，Brier分数0.130。作者称，在不再训练、也不做任务特定检查点选择的情况下，7B模型在GPQA、TriviaQA、SimpleQA上相对各自最强单置信度基线分别降低校准误差26.8%、32.2%、36.2%。

30B的结果被用来说明两个指标为何要一起看：BigMathDigits上CALIBER的ECE为0.022，仅略好于CoCA-lite的0.023，但AUROC为0.797，而CoCA-lite为0.508，区分正确与错误答案的能力差距明显。文章也承认，其他基线在AUROC上略高于CALIBER，收益取决于衡量哪个性质。

置信度变化本身不是结论

有了两个估计，就能观察推理是否改变了模型的自我评估。BigMathDigits上，7B模型答对时平均置信度从78.5%升到83.5%，答错时从62.6%降到54.5%；在其他数据集上，有时两组都下降，只是错误组降得更多。文章提醒，上升或下降只是情境信息，不是判决：两个最终都停在70%的答案，表达的是相同的正确概率估计，哪怕一个升、一个降。

作者把可靠置信度更新的用途留作开放问题：它能否帮助模型决定何时核验、检索更多信息或弃答，本文实验没有测试。文章将CALIBER定位为一个起点——让置信度反映模型在推理各阶段实际能评估的东西。