核心变化

ggml-org 于上海时间 2026 年 9 月 24 日 01 时 26 分发布张量库 ggml 正式版 v0.25.1。发布接口显示 published_at 为 2026-09-23T17:26:19Z,created_at 为 2026-09-23T17:26:17Z,prerelease 为 false,目标提交为 e565a8f4ce2e462c4973a24c51098dd3c81c0256,为 v0.25.0 之后的热修复版本。发布说明明确本次聚焦后端修复,不引入新模型架构,相对 v0.25.0 共列出 7 笔提交,包含 1 笔版本提升、1 笔 llama.cpp 同步与 5 笔后端内核调整。CUDA 方面重新启用此前因批量相关门控关闭的长上下文稀疏注意力,发布说明给出 131k 上下文预填充最高约 1.4 倍加速,并将稀疏掩码扫描内核通过编译期循环展开与主机侧边界选择优化,在约 49k 上下文批量稀疏算子从 586 微秒降至 244 微秒。Metal 方面补齐缺失的 f32×bf16 矩阵向量内核,修复 bf16 权重深度卷积缺内核问题,并将闪注意力向量调优表由按具体型号键控改为按 GPU 系列键控,未调优系列回退基线实现并显著缩小调优表体积。Vulkan 方面为 IQ4_XS 量化类型新增 MMQ 与 MMV 矩阵乘内核。

适用对象与访问条件

本次更新主要面向三类中国用户:一是基于 llama.cpp 或直接基于 ggml 构建本地推理与服务端部署的开发者,ggml 作为底层张量库,其 CUDA、Metal 与 Vulkan 后端修复会直接影响上层推理的长上下文与量化路径;二是需要在 NVIDIA GPU 上跑 49k 至 131k 级长上下文预填充的 CUDA 用户,可验证稀疏注意力恢复后的吞吐变化;三是使用苹果芯片 Metal 后端遇到 bf16 深度卷积缺内核,以及使用 Vulkan 后端 IQ4_XS 量化的用户,可验证本次补齐是否解决自身构建或运行报错。访问条件为公开仓库 https://github.com/ggml-org/ggml,按标签 v0.25.1 获取源码与发布说明自行构建验证,无需账号与付费,国内下载需自行解决网络可达性,实际验证还需具备对应 CUDA、Metal 或 Vulkan 工具链与运行环境。

  • CUDA 恢复长上下文稀疏注意力与掩码扫描加速;Metal 补齐 f32×bf16 内核并按系列重构调优表;Vulkan 新增 IQ4_XS 矩阵乘内核;相对 v0.25.0 共 7 笔提交,无新模型与接口大改

兼容性、迁移与限制

兼容性方面,本次属于常规热修复迭代,发布说明与发布接口均未提及破坏性变更、迁移要求与配置变更,未给出漏洞编号与安全公告,可视为平滑升级。行为变化限于后端内核与调优表,不使用长上下文稀疏注意力、bf16 深度卷积或 IQ4_XS 的普通用户理论上不受直接影响。许可证方面,仓库接口显示 license 为 MIT License,spdx_id 为 MIT,归属为 ggml-org/ggml,发布说明未提及许可证调整,沿用 MIT 条件,实际使用仍以仓库许可证文件与自身合规评估为准,不对维护持续性作保证。已知限制是本次说明未给出除 131k 与 49k 之外更广的性能矩阵,未列出受影响设备清单与回归范围,不应视为普遍性能保证,长上下文加速与内核修复效果需在自身硬件与模型上实测。

下一步建议

已在多后端维护构建或需复现长上下文、bf16 卷积与 IQ4_XS 相关问题的测试环境用户,建议先在测试环境从 v0.25.0 升级至 v0.25.1,重点验证 CUDA 长上下文预填充是否按预期启用稀疏路径并记录前后耗时,Metal 侧验证 bf16 相关用例是否不再缺内核报错,Vulkan 侧验证 IQ4_XS 相关量化路径是否正常,确认无异常后再评估是否跟随至上游 llama.cpp v0.5.0 及后续 nightly。仅做常规短上下文推理且未命中上述三类路径的用户可继续观察,无需为本次紧急跟随升级。若出现新的构建失败或运行异常,应以官方 Release 说明与对应提交信息为准排查。