结论

加州大学圣迭戈分校、马里兰大学、Vector Institute与EuroSafeAI等多机构团队在 Asia/Shanghai 9月24日首次公开预印本Systemic Risk Index，检验现有公开基准能否为欧盟《人工智能法案》通用模型行为准则下的系统性风险提供可追溯证据。作者报告，在19个公开基准1188题、跨18个模型的快照中，最坏情况聚合比平均聚合低14至37分，平均分会掩盖个体弱响应；大模型裁判与人类评分一致性达κ=0.78-0.82，盲审83%变换保留原有害性。以上为作者在受控评测流水线中的结论，为6页预印本v1未经同行评审，也未经本站独立验证，不应视为安全认证或合规结论。

方法与评估条件

论文提交记录为2026年9月23日16时13分36秒UTC，对应北京时间2026年9月24日00时13分，收录于arXiv 9月24日公告批次，满足当日首次公开门槛。研究对象是欧盟GPAI行为准则定义的四类系统性风险：化生放核、网络攻击、有害操纵与失控。作者经MIT风险库将19个公开基准映射到四类，按Jaccard相似度与预算抽样至1188题以控制来源不平衡。评测分三阶段：基线对照因污染记忆风险不计入聚合，仅作参照；扰动阶段做措辞、语域、框架与复议四类意保留改写；智能体场景阶段以Hermes-4-70B生成含系统提示、合成文档与对话史的多轮部署上下文并施加任务压力。后端基于Inspect固定条件执行，前端为静态React仪表盘，支持平均与最坏聚合切换、提供商与模型视图切换、能力权重滑块与逐基准溯源。最终分以安全分与Artificial Analysis智能指数做加权几何平均，并映射至F-到A++十五档。

主要结果

在18模型快照中，切换聚合规则会改变评级与排序，最坏视图下每题取扰动与场景阶段最低分再平均，较平均视图低14至37分。裁判侧，无参考答案时由Claude-Sonnet-4.5与GPT-5.6-Luna按同一量规独立打分，与两名盲态人类评分者的一致性与人类间一致相当，κ为0.78-0.82，其中Claude拒评12例。盲态保真审计显示83%抽样变换保留原有害性，但有害操纵类一致性最低，对改写与情境化更敏感。21人便利抽样免IRB感知研究中，20人对分数方向与含义打4-5分，多数表示仪表盘易懂并促使在不同聚合与能力加权下查看，但作者明确这仅是自陈可理解性证据。

  • 19基准1188题归入CBRN、网络攻击、有害操纵、失控四类并跨18模型评测基线、扰动与智能体场景；18模型最坏聚合比平均低14至37分，暴露平均分掩盖的弱响应；双大模型裁判与人类一致κ=0.78-0.82，盲审83%变换保真，有害操纵类最低；21人感知研究中20人认为分数方向清晰，仪表盘促进多假设查看。

局限与适用边界

本研究为预印本v1共6页5图，已投EACL 2027系统演示分轨但未经同行评审，所有数字限本次冻结流水线、特定裁判与能力指数版本，不得推广为欧盟合规认定或通用安全保证。基准仅为团队判定的curated子集，经抽样与预算裁剪，覆盖不全，部分伤害弱代表或缺失，结论随映射与基准增补而变。基线被排除在聚合外，扰动保真依赖盲审假设，智能体场景由单一70B模型生成，裁判存在拒评与路由重试，能力加权公式含主观权重。用户研究为21人便利抽样、无指导自由探索的自陈问卷，未测实际决策改变与长期使用，未收集身份信息。代码、数据与结果已公开可复现，但本站未独立运行。

是否同行评审与潜在意义

截至核验时，该工作状态为预印本，arXiv页面明确为v1，无会议或期刊接收信息，作者注明的EACL 2027投稿为计划中，编辑将其归为预印本而非已获同行认可的事实。若后续能被独立复现，其意义在于为非技术读者提供一条可操作核查路径：从高层风险评级下钻到具体基准、变换条件与聚合假设，对比平均与最坏视图以校准信任，而非直接消费最终分；实际治理采用仍需在自有模型分布上重测扰动保真与裁判一致，并单设人工复核与法域适配。中国读者参考时应注意法域为欧盟，风险定义与义务主体均限欧盟通用模型语境，与国内规则迁移性尚未验证。