结论
纽约州立大学奥尔巴尼分校信息科学系团队在北京时间2026年10月22日公开预印本Commit or Abstain,检验可核验法律AI在正确权威缺失时是坚持引用还是主动弃权。作者在5314项CaseHOLD上扩展1670项正确判例被替换的弃权条件,对比4个System One决策模型与6个生成大模型。作者结论是:缺失时生成模型在38%至86%题目中仍选择错误判例,最谨慎决策模型仍误选30%;标准集上决策模型以五十五分之一成本追平最优生成模型,一致性过滤可将错误引用减半。该结论为作者受控实验结果,未经同行评审,需独立复现。
研究状态与对象
该工作状态为arXiv预印本,页面标注16页、审稿中,尚未经过同行评审。研究对象是法律权威核验这一封闭选择任务:给定引文语境,从五个候选判例或无一正确中判断法院实际采用的判例。重点不是开放生成法条,而是能否在正确选项缺席时明确弃权,避免将错误引用送入法律文书。人类律师搭档与开放长文本写作不在本次验证范围内。
方法与评估条件
作者将CaseHOLD扩展为双条件:标准条件保留正确答案,弃权条件将1670项正确答案替换为相似但错误的他案判例。决策模型不生成文本,直接输出每个选项的校准概率;生成模型则生成文本答案。另设协同条件,仅当决策模型同意时才采纳生成模型答案,并以无标签蒸馏将决策模型概率迁移至Qwen3-8B本地模型。评测记录准确率、误选率、每千题成本与校准表现,并附污染检查与提示说明。
数据范围与主要结果
作者报告标准CaseHOLD上决策模型达88.1%,与最优生成模型88.2%基本持平,成本为后者五十五分之一。弃权条件下生成模型误选率为38%至86%,最谨慎决策模型为30%,更多花费未稳定换来更谨慎。协同过滤使生成模型的错误引用减半,蒸馏所得Qwen3-8B在无标签下仍保持良好校准。作者据此提出法律AI应以错误引用而非准确率作为首要标尺,此为作者解释,需与独立验证区分。
局限与潜在意义
局部基准结果不得写成普遍法律能力,受控选择题结果不得写成因果或已获同行认可的事实。结论限单一基准家族与特定模型快照,真实检索增强流程、开放文书写作、人类律师交互与跨法域表现未经验证。成本结论依赖当时计价与提示设置,版本更新可能改变排序。若能在更多基准与执业流程中复现,低成本决策模型或可作为引用前置校验,降低虚假引用进入法庭的风险,但当前不宜直接用于执业判断。