结论
马里兰大学、Ritual AI、复旦大学与哥伦比亚大学合作团队于 Asia/Shanghai 时间 2026 年 9 月 22 日公开预印本 Pinocchio，提出面向黑盒大语言模型的外部不确定性估计器。作者报告，该校准器仅需一次前向即可预测目标模型回答是否正确，在 7 个训练模型的留出回答上 AUROC 达 0.862，并可零样本迁移至 13 个未见模型。这是作者单次受控实验的结论，为未经同行评审的预印本发现，需独立复现后才能作为普遍事实。
方法与数据范围
Pinocchio 不直接从目标模型提取不确定性，而是训练一个小型校准器。输入为问题、回答、产生回答的模型标识，以及视觉-语言任务中的相关图像，输出为回答正确的概率。架构上，作者以 Qwen3-VL-8B-Instruct 为基座并用 LoRA 微调全部线性层，秩为 32，预测时在正确与不正确两个标记上做 softmax，只用最后一个标记的交叉熵训练。纯文本基准没有图像时，以均匀灰色占位图保持统一输入格式，同时在提示中加入基准与模型标识等元数据。
训练数据覆盖 20 个基准与 7 个大语言模型的回答，包括 Claude Fable 5、Claude Opus 5、GPT-5.6、Kimi 3，以及 GPT-5-mini、GPT-5.2 与 Qwen3.5-397B 等能力较低的来源。作者称选择强模型准确率处于 20% 至 80% 的基准，以保证有足够的错误样本，并特意加入视觉-语言基准补充难例。15 个基准用精确或模糊匹配评分，5 个需量表评分的基准用 GPT-5-mini 作裁判。同一问题的所有回答被划分至同一数据切分，避免泄露。用于零样本迁移评估的 13 个模型未出现在训练混合中。
主要结果
作者报告的留出集正确性预测 AUROC 为 0.862，相对不确定性基线有较强校准；加入元数据后 AUROC 从 0.813 提升至 0.863。同一校准器在 13 个未见模型上的平均 AUROC 为 0.814，作者将其描述为训练后校准器的直接评估，而非独立方法。0.8B 轻量纯文本版本保留最大模型约 99% 的 AUROC。作者强调单次前向即可给出概率，无需采样、log 概率访问或修改目标模型，而语义熵等采样方法需 5 至 10 倍推理开销。视觉-语言数据学到的信号可迁移至纯文本，在文本难例有限时改善纯文本校准。以上均为作者在受控基准上的测量结果，编辑未做独立验证。
- 0.862 为 7 个训练模型留出回答上的正确性判别 AUROC；0.814 为 13 个未见模型上的零样本迁移平均 AUROC；0.8B 版本保留约 99% 最大模型性能；元数据使 AUROC 从 0.813 升至 0.863；单次前向对比采样方法的 5 至 10 倍开销。
限制与适用边界
该工作为预印本，未经同行评审，且评估限于作者选定的 20 个基准与特定模型组合，不能直接外推至医疗、法律等真实高风险部署。标签质量部分依赖 GPT-5-mini 裁判，其鲁棒性仍在附录中讨论。训练与评估均在受控条件下完成，实际 API 成本、延迟与分布外稳定性未经独立测量。校准器输出的正确概率仅为正确性估计，不提供因果解释，也不等同于安全拒止或合规保证。需要采取行动的读者，应以对事项负有责任的主体说明为准。
是否同行评审与潜在意义
截至核验时，arXiv 摘要页未标注期刊或会议接收信息，应按预印本理解。作者在讨论中称该方法可用于自适应澄清与置信度门控行动等生产场景，但这些仍为作者提出的方向，不是已验证的部署结论。若后续能经独立复现与外部评估确认，单次前向、跨模型迁移的黑盒校准思路可能降低可信部署的推理成本；在此之前，不应将其局部基准结果写成普遍、因果或已获认可的事实。