核心变化

ggml-org 于上海时间 2026 年 9 月 23 日 10 时 10 分发布 llama.cpp 预发布 b11118。发布接口显示 published_at 为 2026-09-23T02:10:10Z,prerelease 为 true,目标提交为 e6ab7c1a41054a888ada952eab4c886444c2f5ad。本次为相对 b11117 的单合入增量更新,合入拉取请求为 #29282,标题为 hex-dma: introduce direct-mapped DMA cache that is better suited for HVX FA mask handling,由 Max Krasnyansky 提交,改动集中在 ggml Hexagon 后端 dma-queue 相关逻辑,不涉及模型格式与外部接口新增。

适用对象与访问条件

本次更新主要面向两类中国用户:一是在高通骁龙平台使用 Hexagon HTP 做本地推理、且走 HVX 闪注意力路径的部署与调优人员,特别是关注长上下文生成速度与 DMA 搬运效率的测试者;二是从源码跟随主分支或跟随预发布节奏做回归验证的打包与集成维护者。访问条件为公开仓库,可从 GitHub Releases 页按标签 b11118 获取源码与预编译包,或同步对应提交自行构建验证,无需账号与付费,国内下载需自行解决网络可达性,Hexagon 相关验证还需具备对应硬件与驱动环境。

  • 新增直接映射 DMA 缓存 dma_cache_dm,专用于 HVX 闪注意力掩码处理,原全相联 LRU 缓存重命名为 dma_cache_fa 以示区分;HVX 闪注意力路径切换至直接映射缓存,完整 LRU 被作者判断为过度设计,回应 #29210 指出的问题;本次为单提交预发布增量,不含许可证与模型格式变化,MIT 条件不变

兼容性、迁移与限制

兼容性方面,本次属于常规预发布迭代,发布说明与合入信息未提及破坏性变更、迁移要求与安全修复,未给出漏洞编号,可视为平滑升级。行为变化仅限 Hexagon HVX 闪注意力相关 DMA 缓存路径:原有调用按新命名继续可用,新增结构为内部实现调整,不改变模型权重与 GGUF 转换逻辑。对未使用 Hexagon 后端的 CPU、CUDA、Vulkan、Metal 等用户,理论上不改变推理结果,但因服务端与底层代码持续滚动,仍需在自身模型与硬件上实测。作者在拉取请求中给出 IQ9 量化下 Llama-3.2-1B Q4_0 在 HTP0 上的 llama-bench 对比,生成速度有个位数提升,该数据为作者单机受控测试,未经独立复现,不应视为普遍性能保证。许可证延续仓库已核验的 MIT 条件,实际使用仍以仓库许可证文件与自身合规评估为准,不对维护持续性作保证。

已在使用骁龙 HTP0 或 Hexagon 本地推理的测试环境用户,建议先在测试环境升级至 b11118,重点验证 HVX 闪注意力相关用例是否正常、长上下文生成是否稳定,以及与 b11117 相比是否有可复现的变化,确认无回归后再评估是否跟随。若出现新的编译告警或与预期不符的延迟变化,应以官方 Release 说明、对应提交与 Issue 反馈为准排查。仅做单模型纯文本推理、未使用 Hexagon 后端的用户可继续观察,无需为本次跟随升级。