北京时间10月19日2时4分,ggml-org在GitHub发布llama.cpp预发布b11721,仓库接口记录发布时间为2026-10-18T18:04:19Z,对比区间为b11720至b11721。本次为常规预发布迭代,仅合入1笔提交,将Qwen4Exp模型的SCALE→SIGMOID→SCALE→hc_post链在CUDA后端融合为单内核执行,MIT许可不变,面向CUDA本地推理与自行构建用户,需在测试环境验证后使用。

核心变化

本次唯一提交为ff5a23376725e5a889fa0bfb987b7541dc304da0,由Aman Gupta提交,提交时间为2026-10-18T17:48:47Z即上海10月19日1时48分,提交信息为cuda: fuse qwen4exp's SCALE -> SIGMOID -> SCALE -> hc_post chain(#30602)。改动说明明确为Vulkan后端HC_POST_GATE融合(#29520)的CUDA移植:hc_combine按2*sigmoid(inject/hc)构建hc_post权重,dsv4_hc_post_f32新增gated模板分支,直接用原始权重计算scale_out*sigmoid(scale_in*p),将原先分四步执行的链路合并为一个内核。对比页显示本次为1个提交、3个文件变更、1位贡献者,核心代码改动位于ggml/src/ggml-cuda/dsv4-hc.cu,发布接口显示prerelease为true,多平台预编译资产同步产出。发布说明与提交信息均未提及破坏性变更、安全修复与许可证调整。

适用对象与访问条件

本次更新主要面向两类中国用户:一是使用CUDA后端运行含DSV4 HC路径或Qwen4Exp相关模型的本地推理与服务端部署用户,可在主线获得该融合内核并开展回归验证;二是从源码跟随主分支或使用预发布包做持续验证的构建维护者,可按标签b11721获取源码与预编译产出说明自行构建验证。访问条件为公开仓库https://github.com/ggml-org/llama.cpp,无需账号与付费,国内下载需自行解决网络可达性,实际验证还需具备CUDA工具链与对应模型权重获取渠道。未使用CUDA或未触发该门控路径的CPU、Metal、Vulkan与OpenCL用户理论上不受直接影响。

  • 在b11720基础上发布预发布b11721,发布时间为2026-10-18T18:04:19Z即上海10月19日2时4分;仅合入1笔提交ff5a233,对应Vulkan融合的CUDA移植,实现门控链单内核化;对比区间为b11720至b11721,对比页显示1个提交、3个文件变更;预发布标识为true,Linux与Windows等多平台资产同步产出;未提及破坏性变更、安全修复与许可证调整

兼容性、限制与下一步

兼容性方面,本次属于常规预发布迭代,发布接口与已核验提交信息均未提及破坏性变更、迁移要求与安全修复,可视为平滑升级。实现上保留非门控路径,通过gated=false模板分支保持原有计算逻辑,仅在检测到门控参数时走融合路径,因此不使用Qwen4Exp门控链的模型行为应保持不变。许可证方面,发布说明与对比区间均未提及许可证调整,沿用站内已核验的MIT条件,实际使用仍以仓库许可证文件与自身合规评估为准,不对维护持续性作保证。已知限制是本次说明未给出精度评测、性能数据与受影响模型清单,不应理解为速度或成本承诺,实际效果仍受显卡型号、驱动版本、构建选项与模型结构影响。已在使用CUDA的llama.cpp用户,建议先在测试环境从上一预发布升级至b11721,重点验证相关模型的加载、解码正确性与长时间推理稳定性,确认无异常后再评估是否跟随;若出现构建失败或运行异常,应以官方Release说明与对应提交信息为准排查,并在升级前做好回退准备。