核心变化

ggml-org于上海时间2026年10月18日19时11分发布llama.cpp预发布b11719。发布接口显示published_at为2026-10-18T11:11:37Z,created_at为2026-10-18T08:59:06Z,prerelease为true,目标提交为5aeac37a35b44fde4bdffaec9159f2fcb253b622。对照区间为b11718至b11719,仅领先1笔提交、改动1个文件,对应提交信息为ggml-cuda: fattn do not check oob if k_VKQ_max = (k_VKQ_max - nbatch_fa)(#30572),作者为thelittlefireman,提交时间为2026-10-18T08:59:06Z。基线b11718对应提交为547208dca250ceb3e4c8615598d043f2b602a527,提交时间为2026-10-18T04:02:38Z。改动位于ggml-cuda的flash_attn_tile内核,将循环条件由while(k_VKQ_0小于k_VKQ_max减nbatch_fa)调整为小于等于,并在该分支保持越界检查关闭,发布资产延续多平台同步产出节奏。

适用对象与访问条件

本次更新主要面向两类中国用户:一是使用CUDA后端做本地推理与服务端部署的开发者,特别是启用Flash Attention长上下文推理的场景,可在主线获得该边界修复并开展回归验证;二是从源码跟随主分支或使用预发布包做持续验证的构建维护者,可按标签b11719获取源码与预编译产出说明自行构建验证。访问条件为公开仓库https://github.com/ggml-org/llama.cpp,无需账号与付费,国内下载需自行解决网络可达性,实际验证还需具备CUDA工具链与对应模型权重获取渠道。

  • 在b11718基础上发布预发布b11719,对应提交单点修复CUDA Flash Attention边界;循环条件由小于调整为小于等于,避免特定k_VKQ_max情形下误做越界检查;对照区间仅1笔提交、1个文件改动;预发布标识为true,多平台资产同步产出;未提及破坏性变更、安全修复与许可证调整

兼容性、迁移与限制

兼容性方面,本次属于常规预发布迭代,发布接口与已核验提交信息均未提及破坏性变更、迁移要求与安全修复,未给出漏洞编号,可视为平滑升级。行为变化限于CUDA Flash Attention分块循环的边界判定,未使用CUDA或未触达该边界条件的CPU、Metal、Vulkan与OpenCL用户理论上不受直接影响。许可证方面,发布说明与对比区间均未提及许可证调整,沿用站内已核验的MIT条件,实际使用仍以仓库许可证文件与自身合规评估为准,不对维护持续性作保证。已知限制是本次说明未给出精度评测、性能数据与受影响模型清单,不应视为普遍正确性或性能保证。

下一步建议

已在生产或测试环境使用CUDA Flash Attention的llama.cpp用户,建议先在测试环境从上一预发布升级至b11719,重点验证长上下文与批量推理下的输出一致性与稳定性,确认无异常后再评估是否跟随。仅做常规CPU推理或不使用CUDA后端的用户可继续观察,无需为本次跟随升级。若出现新的构建失败或运行异常,应以官方Release说明与对应提交信息为准排查,并在升级前做好回退准备。