核心结论
10月21日,ggml-org 在 GitHub 发布 llama.cpp 预发布 b11757。根据官方发布接口记录,该版本发布时间为北京时间当日 3 时 56 分,状态为预发布。在 b11756 基础上仅合入 1 笔提交,主题为传统 CUDA 内存池在释放或刷新后同步清理已捕获的 CUDA Graph,避免已捕获图继续引用已释放显存。据官方提交说明确认,此为 CUDA 推理稳定性修复,不改变模型支持范围与对外接口,预发布状态不变。中国用户可直接查阅官方发布页核验版本归属,本文仅说明该单笔修复的范围与限制,不构成升级保证。
版本与时间
对比区间为 b11756 至 b11757,共 1 个提交、2 个文件变更,提交哈希为 13786fb,对应拉取请求编号 26771。版本创建时间早于发布时间,最终以官方发布接口中的 published_at 为准,即北京时间 10 月 21 日 3 时 56 分。该日期已通过官方 API 确认属于上海当日窗口,未使用往日转载或聚合页补充背景。b11757 延续预发布序列,不属于稳定版,历史同序列版本均需在测试环境验证后使用,本次同样适用。
变化内容
官方提交标题为清理传统内存池刷新后的 CUDA 图。具体实现为传统内存池持有后端上下文引用,并在显存不足重试与显式释放两条路径新增失效图缓存逻辑,清空已捕获图并在有捕获实例时输出调试日志。此前已捕获的图在内存释放后仍可能被复用,导致引用已释放显存,修复后要求后续按需重新捕获。该变更仅涉及传统内存池路径,虚拟内存管理路径不受影响,改动范围明确且可通过官方提交页逐行核验。
影响与限制
本次修复仅影响使用 CUDA 后端的本地推理与自托管服务用户,特别是启用 CUDA Graph 加速的场景。传统内存池在显存不足重试或显式释放时,此前可能保留已捕获图并在后续执行中复用已释放显存,修复后将在这两条路径同步失效图缓存。其他后端如 Metal、Vulkan、SYCL、CPU 与非图执行路径不受直接影响,稳定版用户如未使用相关预览构建也无需跟随升级。现有信息来自官方宣布与代码提交,尚未见独立第三方评测,实际收益需结合自身任务验证。
下一步
预发布构建仅供测试,建议在隔离环境验证 CUDA Graph 相关任务是否恢复正常,生产服务不宜直接覆盖升级。需要升级的用户应先备份配置与模型,再获取 b11757 预发布包回归关键用例。如需核验,可对照官方发布页确认版本号与预发布状态,对照官方提交页确认变更内容。编辑解释部分仅为阅读辅助,事实以官方发布页与提交记录为准。