核心结论

9月24日01时39分(北京时间,对应9月23日17时39分 UTC),ggml-org 在 GitHub 发布 llama.cpp 预发布 b11140。本次为 CUDA 后端专项优化:恢复 DSV4 预填充阶段的稀疏注意力支持,并通过重构稀疏掩码扫描的查询循环与越界检查降低长上下文开销。这是官方发布中本次唯一对应的功能变化,多平台二进制包已随版本同步附带,许可证仍为 MIT,状态为预发布。

已核实变化

根据官方发布页,变化对应 CUDA 稀疏注意力三项调整。官方将其描述为重新启用 DSV4 预填充的 sparse-fa,解码路径无变化;将 flash_attn_mask_to_sparse_indices 的查询循环按 ncols1 模板化,使批量为一的解码可编译为直线代码,官方称在约4.9万列的稀疏解码形态下扫描从46微秒降至17微秒;将 ncols1 等于8时的越界检查移至主机端并区分尾部分组是否对齐,官方称在约4.9万上下文的批量稀疏算子从586微秒降至244微秒。GitHub API 记录该版本的 published_at 为2026-09-23T17:39:43Z,与北京时间9月24日01时39分一致,状态为预发布,非稳定版。

影响与适用

该变化面向在本地或自托管环境使用 CUDA 后端运行 llama.cpp,并涉及 DSV4 相关模型长上下文预填充的开发者与模型部署者。若工作负载集中在长上下文预填充且可命中稀疏路径,升级后有望减少扫描与批量算子耗时;对未使用 CUDA、未运行 DSV4 相关模型或不走稀疏路径的部署,本次无行为变化。中国用户使用时仍需自行准备 CUDA 运行环境、驱动与模型权重,并以本地实际推理耗时验证效果,具体以仓库发布页与本地验证为准。

限制与下一步

本次官方发布仅给出上述微基准耗时,未给出完整模型端到端吞吐、准确率或跨硬件对比,也未声明新增模型支持、API 变化或定价调整,不应将其理解为通用能力升级。版本为预发布,官方未承诺生产稳定性,建议先在测试环境验证 CUDA 预填充、解码与常规推理的端到端行为,再决定是否跟随。多平台预编译包已同步更新,需要的系统可下载对应包验证;如继续遇到稀疏路径相关异常,应保留运行日志、模型量化格式与复现步骤,向仓库反馈以便定位。以上时间、版本与功能结论来自当日官方发布页,编辑未做独立功能测试。