核心变化

上海时间2026年9月22日07时29分,ggml-org发布llama.cpp预发布b11090。该版本为单一构建修复,处理CUDA后端sm_70即Volta架构的平铺编译错误。发布说明指出,此前合入的5参数load_ldmatrix仅定义了tile<16,8>,导致Volta所需的tile<8,4>无法匹配,问题背景见#29222。本次经由#29224将5参数版本的平铺形状从固定<16,8>泛化为<I,J>,非swizzle分支统一转发至3参数加载器,从而支持任意形状。发布说明明确本地编译与测试已通过,未提及新增模型架构、推理性能、显存占用、采样参数、服务端接口或提示模板的行为变更,也未标注安全修复与许可证调整。

适用对象与兼容性

该版本主要面向在Volta架构GPU上以CUDA构建llama.cpp的开发者,例如仍在使用Tesla V100等sm_70设备的本地推理与验证场景。对仅使用预编译CPU、Vulkan、Metal或较新CUDA架构包的中国用户,本次无直接功能收益,可以暂不升级。兼容性方面,发布页同步提供Windows、macOS、Linux、Android与iOS预编译包,覆盖CPU、CUDA 12与CUDA 13、Vulkan、ROCm、OpenVINO、SYCL等构建,未声明参数或接口破坏性调整,可视为平滑迭代。沿用此前版本的用户无需修改模型文件与服务配置,CUDA用户升级后需保持驱动与运行库与所选构建对应。

仓库归属为github.com/ggml-org/llama.cpp,维护方为ggml-org,许可证为MIT,未发生变化。预发布属性意味着稳定性低于稳定版,不建议直接用于生产服务。所有二进制均经GitHub Actions构建并附带证明文件,获取时应核对对应平台文件名与版本标识b11090,避免混用不同构建号的运行库。

迁移与访问条件

  • 经GitHub Release获取b11090对应平台压缩包,或同步源码标签b11090自行构建;中国用户需自行解决GitHub访问与大文件下载条件,CUDA构建还需配套对应版本驱动与运行库。 如需验证本次Volta修复,应在sm_70环境执行CUDA编译,重点观察此前报错的平铺编译环节是否通过,并完成基础推理启动检查。 生产环境如沿用b11081或更早版本且无Volta构建需求,无需为本次更新执行迁移;确需升级时,先在测试环境验证再替换线上二进制。

限制与下一步

已知限制:本次为纯CUDA编译修复,未带来推理吞吐、显存占用、精度或新模型支持;发布说明未提供性能数据与基准对比,不能据此判断模型效果提升。预编译包虽覆盖主流平台,但openEuler与KleidiAI相关构建仍为DISABLED状态,目标为上述平台的用户需留意是否有可用包。安全状态方面,本次未发布安全公告,未修复已知漏洞,不应视为安全加固版本。

下一步:Volta构建维护者可在隔离环境拉取b11090,验证sm_70编译通过后再进行小规模推理回归;普通本地部署用户可继续观望,待出现推理、服务端或模型支持等功能向变化时再评估升级。升级前均建议备份模型、配置与自定义脚本,并在测试环境完成启动、简单推理与服务接口连通性检查后再推广。