结论先行

PayPal AI团队于2026年9月2日（上海日历日，对应arXiv公告Wed, 2 Sep 2026与提交历史Tue, 1 Sep 2026 17:53:41 UTC）在arXiv首次公开的预印本《The Structure of Quantization Damage in LLMs: Why the Next Bit Should Be Spent Globally》提出：在同等微小精度预算下，与其用额外比特局部修复少数“关键层”，不如将预算全局用于更细的量化粒度。该结论来自作者在9个开源模型、4个架构家族与22任务受控评估上的因果混合精度干预实验，显示量化损伤呈弥散分布、需约半网络才可恢复75%损失，且全局组粒度（group-128）在8个可比模型上普遍比oracle局部层修复高21—52个百分点。研究为预印本、未同行评审、未经独立验证，属局部基准结果，不得夸大为普遍因果或已获行业认可的事实。

方法与评估条件

方法以因果混合精度干预为金标准：将其余层保持4比特，仅将目标层或层集合提升至8比特，测量相对4比特→8比特整体差距的恢复比例（marginal value of precision），并以此检验3类廉价定位器——任务电路漂移（基于注意力头偏差的电路相似度）、因果激活补丁（模型计算位置）与权重统计（标准差与重构误差）是否能预测可恢复层。量化基线为per-row RTN 4比特，预算对比在+0.146有效比特/权重上比较全局细粒度（per-row→group-128 RTN）与局部修复（按单层恢复能力排序的top-k层提升至8比特，oracle选择、非整数层插值）。

评估条件为：研究对象为9个开源权重模型，涵盖LLaMA-3.2-1B/3B与LLaMA-3-8B、Qwen2.5-0.5B与Qwen3-0.6B/1.7B/8B、Mistral-7B与OpenLLaMA-3B，分属4家族，参数跨度约16倍；评估采用固定续写打分框架CORE，22任务各200样本、种子1337，任务涵盖阅读理解、常识补全、事实检索与形式化推理等，按头偏差聚类可分约5个可复现任务组；量化损伤定义为模型fp16→4比特的CORE差距，组粒度对比覆盖8个宽度可被128整除的模型（OpenLLaMA因维度8640不可整除被排除）。

主要结果

  • 3类定位器均失效：任务电路漂移与损伤的原始相关r=+0.377在联合控制模型与任务类别后降至+0.05且等价于零；因果激活补丁定位的边界层对（首末MLP）仅在Mistral-7B恢复55.5%，其余6/9模型≤13%；权重标准差仅在LLaMA家族命中，重构误差在Qwen3-8B上与恢复负相关（保护前3层仅降重构误差约7%却恢复近全部精度） 弥散性量化：按单层恢复排序的累积曲线显示平均需约20%/49%/73%层才达50%/75%/90%恢复，单层最大约44%，无小层集合可闭合差距；Qwen3-8B为最集中模型，其前3层（L4/L2/L6）可近乎闭合，但受限于预算仅能资助约1.3层时仍不敌全局 同预算全局优于局部：+0.146比特下全局g128恢复在8模型上均高于局部，最小优势21个百分点、最大52个百分点；任务bootstrap显示P(global>local)≥0.95对8/8成立，6/8的95%边际区间排除局部；即使对最集中的Qwen3-8B，单层最好仅约40%（多种子39.7±3%），无法在有限预算内凑齐可闭合的3层 粒度而非算法主导：4比特层级平均粒度增益+0.095 CORE，显著高于GPTQ/AWQ在同粒度上的+0.020/+0.017；8比特层级per-row RTN已近无损，方法差异塌缩为零；峰值恢复层在LLaMA-3.x家族内同为L1可留一法预测3/3，但Qwen峰值随规模从L4迁移，跨家族不迁移

局限、是否同行评审与潜在意义

局限在论文第6章明确列出：结论仅在最大损伤探测（per-row RTN）、贪婪按层、按恢复排序的oracle区间、≤8B规模、单GPU分区与小样本评估下成立，作者未测试非贪婪层组合、权重级保护、Hessian敏感度、GPTQ/AWQ小差距下的结构以及多比特率失真扫描；小模型恢复接近噪声、单样本家族与oracle选择使可部署性受限；比特核算为一阶近似，精确按字节对比需未来工作。作者也通过bootstrap承认Qwen2.5-0.5B与Mistral的边际不稳定性。

作者原话：Within this budget setting, global granularity is a better default than selectively protecting critical layers. More broadly, cheap signals that correlate with quantization damage do not necessarily identify where restoring precision improves accuracy; this must be tested with causal intervention. 该判断为作者在受限预算与评估体系内的解释，未经独立验证。

是否同行评审：arXiv:2609.01587v1标注为Preprint、Under review at a NeurIPS 2026 workshop，提交历史为Tue, 1 Sep 2026 17:53:41 UTC，对应上海9月2日公告批次Wed, 2 Sep 2026，尚未同行评审，需等待后续审议与独立复现。潜在意义在于为中国关注大模型推理降本与端侧部署的工程团队提供一条低成本决策参考：在有限比特预算下优先采用全局更细粒度而非费力定位“关键层”，尤其在4比特为主、追求性价比的场景；但该路径现阶段仅验证特定粒度与模型集合的受控对比，向更大规模、其他量化算法、按权重量化与实际业务负载的迁移仍需系统验证与成本测算，局部结论不得直接外推为全场景因果保证。