结论

复旦大学与腾讯混元团队公开预印本《TIDE: Tree-Induced Fine-Grained Diagnostic Evaluation from Model Behaviors》，把细粒度能力诊断重构为模型行为监督下的结构发现，以行为矩阵为唯一监督信号归纳决策树。作者报告称，在五个前沿模型与四项基准上，TIDE得到开发集到测试集一致的弱点排序，最坏叶准确率落差最高达37.91分，并把聚合分掩盖的差异放大为显著叶级对比。这是作者在受控评测上的单次报告结论，尚未经过同行评审，也未经本站独立复现，不应视为普遍、因果或可直接用于选型的事实。

研究状态与发布时间

该工作以arXiv预印本形式首次公开，版本为v1。arXiv摘要页记录的提交时间为2026年10月21日16时27分48秒UTC，换算为北京时间为2026年10月22日00时27分48秒，因此归入本次上海日历日10月22日窗口。arXiv当日cs.AI新论文列表明确标注为2026年10月22日星期四的新提交，摘要页与HTML全文页均可确认该时间与版本。论文主题为评测方法与能力诊断，不涉及商业模型发布、产品功能上线或仓库版本本身，归入研究进展符合收录边界。

研究对象与方法

研究对象是已有基准上的模型行为矩阵，即多个模型在同一基准样本上的得分表。作者认为聚合分只保留标量，无法说明模型在何处真正落后，因此用决策树归纳发现层次化的能力切片。在每个节点，大语言模型裁判仅根据样本文本与参考答案提出候选分裂规则，并把样本分入互斥分组，提出过程不接触任何模型输出；随后以行为信息增益选择分裂，该增益结合组内一致与组间可分，并乘以平衡正则以避免极小分组，同时要求每组样本数不低于下限。选中后递归分裂直至停止条件，形成根到叶由自然语言规则描述的能力树。编辑理解是：大模型只做假设生成，真正的选择依据是行为数据，这是该方法与语义聚类和外部 taxonomy 方法的关键区别。

评估条件与数据范围

作者称在五个前沿模型与四项基准上验证TIDE，文中点名的对比包括Claude Opus 4.6、GPT-5.4、GPT-5.2等模型快照，以及MMLU-Pro与DROP等基准上的切片。评估固定裁判打分、行为矩阵与树构建超参数，考察开发集到测试集的弱点排序一致性、成对模型差异定位、诊断树的跨基准迁移，以及去掉行为增益后的消融。以上范围均来自当日论文内同一套协议，不涉及其他领域数据与真实生产流量。

作者报告的主要结果

作者称TIDE产生开发集到测试集一致的弱点排序，最坏叶准确率落差最高达37.91分，小聚合差距被放大为更大的叶级对比。成对比较上，MMLU-Pro微观市场推理切片中Claude Opus 4.6为100%，GPT-5.4为83.3%，差距约16.7分；合同法推理切片则反转为77.8%对88.9%。作者还报告同家族追踪中GPT-5.2到GPT-5.4在大数计算上回退41.2分。跨基准迁移与消融部分称，诊断树可在基准间迁移，而仅保留大模型候选规则池不足以复现诊断效果，行为信息增益是关键信号。以上均为论文内受控评测数值，编辑解释是：叶级领先不等于通用最优，不构成对其他任务、其他版本或部署成本的保证。

局限与不确定性

本工作为预印本，未经同行评审，结论限于五个模型、四项基准与特定模型快照、裁判实现与超参数，不推广到其他模型规模、领域分布与真实业务环境。候选生成与样本分类依赖特定大模型裁判，存在裁判偏好、提示敏感性与分类噪声；信息增益权重、平衡系数与最小样本等选择会影响树结构与叶粒度。开发集到测试集的一致性与跨基准迁移均在受控划分下报告，长期稳定性、计算开销与人工可解释边界仍待验证。引用前需等待独立复现，不应将受控相关性写成因果或已获认可的事实。

潜在意义

若后续复现成立，该路线提示应把评测结果本身作为监督信号做细粒度诊断，而非只看聚合排名；行为对齐的能力树有望为模型迭代指明具体短板，并在版本回归时定位退化切片。但在复现与评审完成前，中国读者宜将其视为待验证的研究候选，而非可直接用于采购或部署决策的结论。