结论

香港城市大学、香港科技大学（广州）与香港中文大学（深圳）团队公开预印本《EpiSEM-Bench: Evaluating Safety and Evidence Recovery in LLM Agents under Missing Evidence》，研究工具型语言模型智能体在关键安全事实被省略时是否会误执行禁止操作，以及能否主动恢复证据并作出恰当行动。作者报告称，以300组匹配的不安全与安全孪生任务检验十个模型，缺失证据下的鲁棒性、取证行为与恰当行动差异显著，独立审计恢复机会使十个模型的不安全执行均下降，但主动获取缺失事实并在双世界均做对的配对恢复分化明显。这是作者在受控可执行基准上的单次报告结论，版本为v1且未标注会议或期刊接收，尚未经过同行评审，也未经本站独立复现，不应视为普遍、因果或可直接部署的事实。

研究状态与发布时间

该工作以arXiv预印本形式首次公开，版本为v1，学科为cs.AI与cs.LG。arXiv摘要页记录的提交时间为2026年10月22日17时57分04秒UTC，换算为北京时间为2026年10月23日01时57分04秒，因此归入本次上海日历日10月23日窗口。摘要页与HTML全文页均可确认该时间与v1首发状态，正文未标注已接收或同行评审结论，仍按预印本处理。主题为智能体安全与证据恢复基准方法与评测，不涉及商业模型发布、产品功能上线或仓库版本本身，归入研究进展符合收录边界。

研究对象与方法

研究对象是依赖工具返回事实判断操作是否允许的语言模型智能体，例如支付前确认授权额度、分享前确认接收方权限、删除前确认依赖关系。作者沿认知安全路线，将世界真实安全状态与智能体可见证据分离：同一请求与工具接口构造禁止世界与允许孪生世界，可执行oracle按完整状态判定提交是否违规。方法包括三阶段：完整证据基线测安全世界成功率与不安全提交率；抑制证据阶段通过普通工具全程移除选定事实但保留其余真事实，测关键缺失下的不安全执行与最小观察失败基数；可恢复证据阶段保留相同缺失但增加独立审计查询工具，智能体须主动查询才能取回全部缺失事实，再决定在禁止世界克制、在允许世界完成。编辑解释是：工具不替智能体拦截禁止提交， free-form回答与无效调用另计，目的是让决策本身可被观察，而非由环境保护掩盖失败。

评估条件与数据范围

基准覆盖云开发运维、商务履约、通信出版、文档数据访问、金融与旅行预订六个域，每域50组任务对共300对600世界，每域10族共60族，每族共享可执行安全规则与工具结构。抑制清单含1363个事实，其中944个关键事实与419个无关事实，每任务含2至7个关键事实，关键事实进入安全规则如支付授权上限，无关事实如成本中心显示标签不影响合法性。评测固定6052个条件，含600个完整证据基线与5452个单原子省略，十个模型含GPT-6-Luna与Claude-Haiku-5.5等采用相同任务、工具模式与系统指令。六个核心指标为完整安全世界成功率、完整不安全提交率、关键缺失不安全提交率、安全边界余量、恢复后不安全提交率与配对有效恢复，均需联合解读。以上范围均来自当日论文同一套配对抑制与恢复协议，不涉及开放互联网工具、真实企业权限系统或长程部署的一般保证。

作者报告的主要结果

作者称基准揭示十模型在省略鲁棒性、证据获取与恰当行动上差异显著，抗缺失不等同有效恢复，最高观察安全边界的模型并非最高配对恢复分。作者称恢复访问使十个模型的不安全执行均下降，但智能体是否主动获取缺失事实、是否在恢复后双世界均恰当行动差异大，获取证据不等同正确行动，且存在任务级回退。作者称高完成可与禁止执行并存，强克制可与查明许可后的拒绝并存，低恢复后不安全率本身不能证明已核验事实，需以配对有效恢复与取证行动记录解释失败发生在获取前还是恢复后。编辑解释是：改善与分化均限论文所用六域、固定掩膜与特定模型服务配置，不构成跨域、跨工具链或生产节拍的保证，单基准领先不等同开放环境可靠作业。

局限与不确定性

本工作为预印本v1，未经同行评审，结论未经独立复现，不得将受控相关性写成因果或已获广泛认可的事实。方法依赖自建任务对与原子级标注抑制，真实缺失更杂乱且常混杂指令冲突与噪声，审计工具一次返回全部缺失事实的设定偏理想化。安全边界余量为观察到的最小失败基数，依赖已完成路径的递增穷举，未测组合与失败即停策略影响边界；配对有效恢复要求同掩膜双世界同时满足严格恢复，口径严格，低分不等同无用。论文截断提取有限，十模型完整分数表、域族异质性与token交互成本细节需以全文与复现记录为准，引用前需核对自身智能体工具、权限规则与审计通道是否匹配。

潜在意义

若后续复现与正式发表成立，该路线为智能体安全提供了除恶意请求与注入攻击之外的缺失证据视角，提示仅测任务完成或仅测拒绝率会掩盖证据依赖决策的失败。对关注智能体落地、工具权限与审计回路的中国读者，可将其视为待验证的候选评测基线，在复现完成前重点核对配对构造、抑制持久性与恢复工具假设，而非直接作为选型或上线依据。