核心结论
北京时间 9 月 22 日 09 时 35 分,ggml-org 在 GitHub 发布 llama.cpp 预发布 b11095。本次为 Hexagon 后端专项版本,核心变化是合入 HMX 优化的 GATED_DELTA_NET 实现,并同步改进 Flash Attention 与内存流水线。以上发布时间与预发布状态由官方仓库发布页直接确认;具体代码差异由官方提交记录独立验证;影响判断为编辑基于差异的解释。
变化细节
官方提交 5836771 的信息显示,本次对应拉取请求为 #29199,标题为 hexagon: new HMX-optimized GATED_DELTA_NET。提交时间为北京时间 9 月 22 日 05 时 49 分,与发布页同属当日窗口。改动包括 HMX 支持搭建、VTCM 布局重写、管线化与直接内存访问协同、多数管线阶段引入 HVX 线程化、exp 向量化并采用对齐读写、尾部填充优化,以及 exp 改用 f16 以提升 HVX 利用率。
官方发布说明同时列出 Hexagon Flash Attention 的改进:内联 softmax 改用寄存器内 VKQ32 累加、优化直接内存访问管线,并表述为生成阶段直接内存读取减少约 20% 至 30%。该比例为官方发布说明中的表述,尚未经独立测试验证。发布页确认 b11095 为预发布,非稳定版,MIT 许可不变,并同步提供 macOS、Linux、Windows、Android 与 iOS 的多平台预编译包。本次未引入新模型、新架构支持或接口变更。
影响与适用范围
受影响对象为启用 Hexagon 后端的本地推理场景,特别是涉及 GATED_DELTA_NET 与 Flash Attention 路径的 token 生成。对这类用户,官方描述指向更充分的 HMX 队列调度与内存效率,HMX 队列提升至 128 并一次性分发全部相关矩阵运算。仅使用 CUDA、Metal、Vulkan、CPU、ROCm、SYCL 或 OpenVINO 后端的用户不受影响。普通用户如未使用 Hexagon 后端,可暂不升级;Hexagon 设备用户建议先在测试环境验证后再决定是否跟进预发布。
限制与下一步
本次为 Hexagon 专用优化,官方未公布适用机型清单、回归测试范围或第三方评测结果,编辑未将其扩大为通用性能提升或安全修复。预发布意味着后续仍可能调整,生产环境不宜直接覆盖稳定版。中国用户如需升级,应通过官方发布页下载对应平台包,核对版本号 b11095 与 MIT 许可说明,并在本地验证常用模型与序列长度下的推理正确性。若后续出现稳定版或补充说明,将以新的可核验事件另行处理。