结论

Protege DataLab与Heimdall Bio团队在北京时间2026年10月20日首次公开预印本ProteinGeoBench，研究前沿智能体在蛋白质结构任务上查阅记录与坐标几何计算的能力差距。作者以131个结构任务与4249次前沿模型 rollout为核心证据，对比元数据查阅与数值计算两个家族，发现三个前沿模型均值在0.785至0.816之间且相互差距未获区分，第四个为0.707且三处差距区间均不含零；三模型查库优于算几何，数值任务仅占28席却占12个全败任务中的一半。该结论为作者在受控评测中的单次报告，论文为arXiv v1预印本，未经同行评审，需独立复现，不能视为普遍或因果事实。arXiv记录v1提交为2026年10月19日17时55分38秒UTC，对应北京时间10月20日1时55分38秒，落入当日窗口；arXiv当日cs.AI最近列表明确标注Tue, 20 Oct 2026。

研究主体与论文状态

研究主体是结构生物学智能体的评测方法与能力边界，不是新基础大模型发布。论文题为ProteinGeoBench: Frontier Structural-Biology Agents Are Fluent at Lookup but Lost in Geometry，作者为Matt Turk、Brandon L. Neel、Diana M. Lopez、Zachary D. Smith、Grace N. Johnecheck与James B. Golden，归属为Protege DataLab与Heimdall Bio。学科为cs.AI、cs.LG与q-bio.BM，版本为v1，未标注会议接收或期刊评审结论，编辑按预印本处理。同一工作暂无满足当日门槛的独立交叉来源，正文严格区分作者结论与编辑解释。

方法与评估条件

作者固定使用参考支架terminus-2与Harbor框架，每个试验在独立Modal沙箱中运行，智能体限2400秒、1核与2GB内存，验证器限240秒，智能体具 shell与含Biopython的结构生物学Python环境，默认允许联网。 grading由Python验证器读取答案文件并按字段容差评分，例如二面角任务为正负0.02度，残基集合用Jaccard阈值，先在任务内平均再跨任务平均，区间为5000次任务自助法的95%区间。四组实验为：四模型在全部131任务上最多8次运行，其中Gemini 3.1 Pro在107任务上追加至9至10次；26模型在27候选任务上k为4的横扫，共2738次已评分，再扩展至17个数值任务；15任务切片上自家命令行智能体与参考支架的同轮对比；同一切片上联网开与关及DNS封禁8个结构数据库域名的对照。概念推理中16题含LLM裁判Claude Haiku 4.5，平均权重0.438，全套中5.3%权重为裁判介导。

数据范围

原始套件131题覆盖元数据查阅、序列验证、数值计算与概念推理四家族，难度档由出题领域专家标为本科、研究生与博士三档，未做交叉标注一致性统计。文件包括实验性PDB条目、去元数据拷贝、AlphaFold预测与转向分子动力学模拟的嵌合钙黏蛋白结构，其中30题使用未公开结构，10题为新型钙黏蛋白模拟结构，20题为预测的agatoxin结构。主结果使用131题中130个四模型共测任务，模型横扫使用20个分析任务共2048次已评分试验，数值扩展覆盖28个数值任务中的27个。网络与支架实验使用可同时定义于实验坐标、去元数据拷贝与AlphaFold预测的15任务非随机切片，任务选择先于因子结果但不随机。

主要结果

作者围绕模型差异、任务家族与评测配置报告结果。第一，领先三者未分高下：Claude Opus 5均值0.816，GPT-5.6-sol为0.812，Grok 4.5为0.785，两两差距中两处区间含零，Opus减Grok为正0.030但计入剔除的基础设施失败单元后区间含零，作者按未区分处理；三者与Gemini 3.1 Pro的0.707差距为0.078至0.108且区间均不含零。第二，短板在几何不在查库：三模型查阅家族最高而数值家族最弱，例如Opus 5查阅平均0.907而数值仅0.716，Gemini为例外其数值0.731为最佳而概念推理0.681最弱；12个四模型均低于0.5的任务中6个数值、5个序列验证、1个概念推理，数值占全套21.4%却占共享失败一半。第三，排名依赖预算：99个八次完整任务上单次运行时65.2%复制复现参考排序，23.9%复制出现不同首名，k为2、4、8时一致率升至79.1%、91.4%与97.6%。第四，配置效应无法干净排序：15任务切片上去网比封禁8域降分更多，但两次对比分不同轮次评分无法干净分解；换自家命令行智能体变化为负0.071至正0.086，样本太小无法排除中等支架效应；26模型上数值随非数值上升而非持平。以上均为论文内受控对比结果，未经独立验证。

  • 四模型131任务上0.785至0.816三者未区分，Gemini 3.1 Pro为0.707；数值28题占12个全败任务中6席；单次运行23.9%复制换首名；去网与封禁8域、换自家支架的效应因不同子集与轮次无法直接排序。

限制与评审状态

该工作为arXiv v1预印本，尚未经过同行评审，所有领先性与机制表述均为作者自述，未经独立验证。评估限131题与特定支架、沙箱、温度与推理力度，Claude Opus 5拒显式温度而GPT-5.6-sol仅接受默认，横扫与主实验设置不同，对照表现随版本、提示与推理设置变化，不构成通用能力排名。不同实验使用不同任务子集，作者明确效应量不可直接比较，更不能据此排序模型、支架、联网与任务构成的影响。15任务切片为非随机选取，30个未公开结构与去元数据、断网仅为新结构场景的近似。裁判一致性差：三裁判间Krippendorff alpha仅0.105，裁判分0.956高于同试验确定性部分0.846且相关仅0.193，部分0.10为完整性分使全错仍可得分。局部基准结果不得扩写为行业普遍结论。

潜在意义

编辑解释：若后续复现成立，该工作提示评估智能体不应只报总分，还应按任务家族分开报告，并同时说明运行次数、支架与联网条件，否则单次运行的排序可能误导。对中国用户理解智能体在专业科学任务中的边界有参考，例如查库类问题可用而需坐标计算时仍需人工核验。但在同行评审与跨支架、跨模型、真实新结构验证完成前，不宜将其视为已确立的通用设计准则，也不宜直接指导选型或采购。读者可将其理解为一次有明确边界的方法提示，而非对结构生物学智能体问题的最终解决。

时效与来源说明

本文关键事实仅来自arXiv当日论文页，未为补充背景抓取往日页面。arXiv摘要页明确给出标题、摘要结论、学科分类与带时区的提交历史，可换算为北京时间当日；arXiv当日列表确认该批次归属Tue, 20 Oct 2026；全文HTML补充机构归属、任务家族、支架沙箱、评分容差与四组实验细节。同一工作暂无满足当日门槛的独立交叉来源，因此正文严格区分作者结论与编辑解释，并标注未经独立验证。媒体决策为not_applicable，本文类型无媒体字段，未臆造图表与图片。