核心结论

北京时间 9 月 23 日 9 时 43 分,ggml-org 在 GitHub 发布 llama.cpp 预发布 b11117。本次为单一 HIP 后端增量版本,核心变化是以 SWAR 位运算优化 IQ2/IQ3 路径的 __vsub4 与 __vcmpne4,对应目标提交为 f46bc30。以上版本号、预发布状态与发布时间由官方仓库发布接口直接确认,发布时间对应 2026-09-23T01:43:14Z;具体代码内容由官方提交记录支撑;影响判断为编辑基于改动的解释,未经独立性能评测验证。

变化细节

官方提交信息显示,本次修改为 HIP: optimize IQ2/IQ3 (__vsub4 __vcmpne4) using SWAR,对应合入涉及 ggml/src/ggml-cuda/vendors/hip.h,共 18 行增加、10 行删除。主要内容是将 __vsub4 从直接调用 __vsubss4 改为位运算防下溢实现,并将 __vcmpne4 从逐字节循环比较改写为异或加 SWAR 高位聚合实现。官方发布页将其标识为预发布 b11117,非稳定版,未描述为新模型支持或定量性能提升。

影响与适用范围

受影响对象为经 HIP 后端调用 IQ2/IQ3 量化计算路径的本地推理部署,尤其是 AMD 显卡上使用相关量化模型的推理场景。本次使对应向量运算可减少分支与循环开销,有助于降低相关内核执行成本。涉及维护 HIP/ROCm 构建的开发者,可在测试环境对照验证常用模型与量化组合。仅使用其他后端、其他量化类型,或不涉及 HIP 路径的用户,可暂不升级。

限制与下一步

本次为预发布快照,官方未公布相关优化的覆盖显卡矩阵、性能对比数据与第三方评测结果,编辑未将其扩大为广泛加速或兼容性承诺。预发布意味着后续仍可能调整,生产环境不宜直接覆盖稳定版。中国用户如需试用,应通过官方发布页核对版本号 b11117 与预发布标识下载对应平台包,并在测试环境验证常用模型与 HIP 路径。若后续出现稳定版或补充说明,将以新的可核验事件另行处理。