结论

NVIDIA与独立研究者合作的预印本What Do RTL Repair Benchmarks Actually Measure？于北京时间10月21日1时45分在arXiv首次公开，列入arXiv10月21日当日目录。作者构建5784组损坏修复训练对与459例held-out评测集，报告两个评测混杂：仿真与形式等价对是否提供规格说明的效果估计符号相反，常规修复分数不能证明模型真正利用了输入的故障RTL。这是作者在受控评测中的结论，为未经同行评审的预印本，需独立复现，不应视为普遍成立的行业事实。

方法与数据范围

按作者描述，核心是工具门控流水线与双预言评测。作者以工具门控区分编译可诊断的句法失败与lint-clean的行为失败，确保训练与评测使用不相交源种子，训练种子来自MG-Verilog，held-out与去污染池使用VerilogEval与RTLLM。RTLRepairDataset含5784组损坏修复训练对，RTLRepairBench含459例held-out用例，其中374例为句法变异、85例为行为变异，另有4种训练未见的语义算子。自研评测 harness 支持两类预言：Tier S仿真在相同激励下运行候选与金参考200周期并逐周期比对，Tier F形式等价按组合穷举、声明复位序列或指定前导分别做等价检查。作者另挖掘274例模型生成失败，即由规格生成、可编译但未通过任务testbench的用例，用于检验修复与仅凭规格重生成的区分。

结果

作者报告，在79例两臂均有确定性形式结论的子集上，仿真与形式对提供规格说明的效果估计符号相反。仅跳过首个比较周期，描述性对比即从负11.4个百分点转为正7.6个百分点；采用作者发布的双边沿复位启发式做reset-aware重评分后，该79例的158个判定与形式结论一致，并清除了全部39个仿真失败但形式通过的不一致。在全部85例上，该重评分在两臂分别清除12比12与27比30，作者称复位与首周期比较语义解释了几乎全部仿真形式分歧，但仍不使有界仿真等价于形式证明。在274例挖掘失败的六模型探索性消融中，仅凭规格的恢复均高于不给规格，但与带故障RTL加规格的修复相比，点估计差为负8.5至正18.3个百分点，三模型更低、三模型更高。作者据此认为输出正确本身不能识别成功来自修复还是重生成。编辑解释：以上数字只在该论文的种子、变异、提示模板与单次贪心抽样设定下成立，不代表其他RTL任务或生产流程必然复现。

局限与评审状态

该工作为预印本技术报告，未标注会议接收或期刊同行评审信息，应视为待验证的研究进展。结论限特定历史种子、注入变异与六个历史模型输出快照，79例分析为探索性完整案例比较，6例无确定性形式结论被排除，且候选共享源设计，不应按独立重复处理。274例聚类于112个源任务，面板未为多重比较设计确证推断，作者仅报告点估计而非名义显著性。仿真为200采样周期的有界测试，一致不证明等价；形式分支依赖声明的初始化与未知值语义，6例未决已披露。作者明确提出四项报告控制：区分句法与行为缺陷、声明初始化复位首比较周期与未知值语义、纳入仅规格基线、报告预言覆盖与未决用例，其中仅规格基线为必要但不充分的机制诊断。读者应将其视为特定条件下的评测方法信号，而非已确认的产品能力或通用结论，生成RTL仍需独立仿真、形式分析与人工评审。

潜在意义

若后续能独立复现，该审计有助于减少RTL修复基准的误导性宣称：要求论文同时报告复位与首周期语义、预言覆盖与未决数，并以仅规格基线对照修复分数。对中国用户的编辑提示是，在选型或复现芯片设计辅助模型时，应先看基准是否区分句法与行为修复、是否披露形式结论覆盖率，再看绝对分数；在同行评审与第三方复测出现前，不宜将单次分数直接用于流片或采购决策。本站将继续以当日可核验进展为准，不补发往日研究。