结论
卡内基梅隆大学团队在 Asia/Shanghai 9月23日首次公开预印本JEV-as-a-Judge，检验决策型评审能否作为低成本首检，并以置信度决定是否转交更强的大模型评审。作者报告，在常规偏好排序与有证据事实核验上，JEV与最强对比模型差距在3个百分点以内，而费用仅为对方的0.36%；冻结阈值的置信分流在保留对方99%准确率的同时降低成本。以上为作者在受控基准中的结论，未经同行评审，也未经本站独立验证，不应视为普遍生产结论。
方法与评估条件
研究对象是 TypeSafe 公司的托管决策服务 JEV 1.13.0，它接受自然语言指令与结构化输入，直接返回类型化 verdict 与标签概率，作者以最大标签概率作为置信度。对比范围包括16个生成式与奖励模型评审，含 GPT-4.1 系列、GPT-5 系列、GPT-6 Astra、Claude、Gemini、Qwen、Skywork-Reward-V2 等，以及 PairRM，生成式基线同样被要求只输出决策与概率而不写理由。评估任务分为三类：成对偏好排序、有证据单答案事实核验、终答对错裁决，公开基准为 RewardBench 400对、JudgeBench 350对 GPT-4o 切分、HaluEval 240次证据判断，另有150条多轮一致性旧回复、108条 GSM8K 轨迹与64组合成证据对照。作者将642项试点冻结后按题切分40/60用于调温度与分流阈值，670项扩展在试点精度未查看前冻结，人类盲审复核了 JEV 与最强模型不一致的全部基线项。论文提交记录为2026年9月22日15时05分56秒UTC，对应北京时间2026年9月23日23时05分，收录于 arXiv 9月23日公告批次，满足当日首次公开门槛。
主要结果
在常规偏好与有证据事实核验上，JEV在 RewardBench 得92.2%，对比 GPT-6 的93.5%，配对差为负1.25个百分点；在 HaluEval 得87.5%，对比86.7%，配对差为正0.83个百分点，作者总结为差距在3个百分点以内。人类盲审比标签更偏向 GPT-6，在 RewardBench 不一致项中17比5支持 GPT-6，在 HaluEval 中8比10项中的8项支持 GPT-6，且双方都判错的26项 HaluEval 中有24项经复核为标签证据不足，修正后 JEV 为95.8%、GPT-6 为98.3%。在难度高的正确性核验上差距拉大，JudgeBench 上 JEV 为78.6%，对比 GPT-5.6 与 GPT-6 的93.1%，配对差为负14.6个百分点，其中推理与代码子集差距最大。作者报告的运行包络为：四选一任务 JEV 为73.0%对比75.0%；RM-Bench 同风格时84.0%，当错误答案写得更精致时跌至74.8%，同源下降9.2个百分点，困难对差距达19.8个百分点；无参考自由文本上三模型均接近随机，JEV 为52.5%且平均置信仍达0.90。置信分流方面，作者称在多基准上误差集中于低置信区，冻结的单序与双序级联接受高置信 verdict、转交低置信项，可保留最强模型99%的准确率。
- RewardBench 92.2%对比93.5%，HaluEval 87.5%对比86.7%，常规任务差距在3个百分点内且费用为0.36%；JudgeBench 78.6%对比93.1%，推理与代码差距最大；精致错误风格下 RM-Bench 下降9.2个百分点，困难对差距19.8个百分点；冻结置信级联保留99%对比模型准确率，误差集中于低置信区。
局限与适用边界
本研究为预印本 v1，未经同行评审，所有数字限于上述冻结基准与特定模型版本，不得推广为任意评审任务的普遍保证。JEV 为专有托管实现，对比的是完整评审配置而非同架构消融，结论不代表类型化接口本身的因果优势。标签噪声不可忽略，HaluEval 部分平局源于证据不支持标签，修正前后结论需分别阅读。阈值与温度在试点选择集上拟合，扩展比较具探索性，作者明确阈值迁移需本地验证，无参考散文与阈值外推已显示失效。费用与时延为采集期实测估计而非发票，含缓存折扣与计费口径假设，不同账户与路由下会变化。涉及的第三方模型能力与价格应以其各自当日官方材料为准。
是否同行评审与潜在意义
截至核验时，该工作状态为预印本，页面明确为 v1，无会议或期刊接收信息，编辑将其归为预印本而非已获同行认可的事实。若后续能被独立复现，其意义在于为大规模评测提供一种可操作的省钱路径：在常规偏好与有证据核验这类适配 workload 上先用廉价决策评审处理高置信项，只把低置信与需查推导、抗精致误导的项转交强模型；实际采用仍需在自有数据上重标定阈值，并对推导核查与风格诱导单设护栏。中国读者在参考时应注意基准多为英文偏好与事实核验，与中文业务语料的迁移性尚未验证。