核心变化
ggml-org 于上海时间 2026 年 9 月 20 日 00 时 47 分发布 llama.cpp 预发布 b11054,本次唯一实质增量是在 Hexagon 后端启用 TOP_K 算子支持。对应提交为 hexagon: enable support for TOP_K op(#29113),由高通作者提交并经验证签名合入,提交时间同属上海时间 9 月 20 日 00 时 16 分,与发布记录相互印证。发布类型为预发布,提供多平台预编译包,仓库归属与 MIT 许可条件在当日来源中未宣布变化。
- 单行 TOP_K 线程化处理;大行选择路径优化,减少大张量下的选择开销;基于 VTCM 的尺寸上限提升;修复多设备行分区逻辑;同步更新 docs/ops.md 与 Hexagon 支持矩阵,将 TOP_K 在 Hexagon 列由不支持更新为部分支持。
提交规模与文件范围
当日提交记录显示本次合入共改动约 1181 行,其中新增约 888 行、删除约 293 行,主要集中在 Hexagon 后端的 TOP_K 实现与测试支持矩阵。文档侧同步更新算子总表与 Hexagon.csv,大量 TOP_K 用例在 HTP0 上的支持状态由否更新为是,覆盖从极小行到 262144 规模的多组形状与 k 取值。提交信息明确列出单行线程化、VTCM 上限、分区分片与大行选择四项工程点,未提及许可证、安全修复或破坏性接口变更。
适用对象与兼容性
本次变化主要面向在高通 Hexagon NPU(HTP)上运行 llama.cpp 的本地推理用户,特别是模型中包含 TOP_K 采样的解码路径。普通 CPU、CUDA、Metal 或其他后端用户不受直接影响,也无需为此单独升级。若此前因 Hexagon 缺少 TOP_K 而回退到其他后端,b11054 提供了在测试环境重新验证的条件。预发布意味着构建与运行时仍可能调整,不建议直接用于生产或对外服务,升级前应确认工具链与预编译包版本一致。
获取与升级建议
可通过仓库 Releases 页的 b11054 标签获取源码与预编译资产,或按提交哈希 7d4b92b 同步代码验证。中国用户访问 GitHub Release 资产时需考虑网络条件,建议先在测试机拉取对应版本完成编译与冒烟测试,重点验证使用了 TOP_K 的模型在 Hexagon 上的加载、解码正确性与稳定性,记录输入形状、k 值与 ties 参数组合,再决定是否纳入后续版本跟踪。由于 b11055 与 b11056 已在同日稍晚发布,跟踪最新预发布的用户可直接评估更新版本,无需逐个中间版本升级,保留本次验证记录即可。
限制与下一步
当日来源仅证明 TOP_K 在 Hexagon 上的支持状态与实现范围,未给出性能对比数字、功耗数据与精度报告,不宜理解为速度或精度承诺。支持矩阵显示 TOP_K 在 Hexagon 为部分支持,大尺寸与特殊参数组合仍可能受限,具体以实际测试为准,也未声明修复已知安全问题。下一步是有 Hexagon 设备的开发者在隔离环境验证目标模型的端到端推理,记录异常形状或 k 值,并跟踪后续预发布是否扩展覆盖或修复分区边界问题,生产升级应等待稳定版本与完整回归验证。