ggml-org于上海时间2026年10月21日3时56分通过GitHub Release发布llama.cpp预发布b11757,接口显示published_at为2026-10-20T19:56:46Z,prerelease标记为true,标签与名称均为b11757,对照区间为b11756至b11757。仓库归属为ggml-org组织下的ggml-org/llama.cpp,项目定位为本地大模型推理引擎,支持llama-server自托管与CPU、CUDA等多后端本地部署。本次当日发布页未提及许可证变更,沿用站内已核验的MIT条件。中国用户可通过当日Release页面与Release API验证版本与发布时间,不以聚合榜单、转载或搜索片段为准。
关键变化
- 在b11756基础上合入1笔CUDA修复,清理传统内存池刷新后残留的CUDA图捕获;对应提交为CUDA: Clear CUDA graphs after legacy memory pool flush (#26771),涉及ggml-cuda公共头2文件;修复后传统内存池释放不再残留图捕获,避免复用过期图导致的非确定性行为;本次为预发布常规修复,未声明为安全修复版本,MIT许可不变
适用对象与价值
本次主要面向已在本地使用CUDA后端运行llama.cpp的用户,特别是自建llama-server、长期驻留推理服务与显存复用频繁的部署。传统内存池刷新后残留图捕获可能导致后续推理复用过期状态,清理后有助于保持CUDA图与内存池状态一致,减少难以复现的异常。对于使用CPU、Vulkan、Metal或SYCL等其他后端的用户,本次无直接功能变化,可按常规节奏跟随。中国用户如通过源码构建或下载当日构建产物验证,需自行解决GitHub网络可达性,并核对CUDA工具链版本与驱动匹配。
兼容性与安装条件
本次为预发布版本,不建议直接用于生产全量升级,存量服务宜先在测试环境验证。发布说明将变更列为常规修复,未标记破坏性变更,但涉及CUDA内存管理底层逻辑,CUDA本地推理用户仍需回归常用模型与并发场景。仓库为公开仓库,无需授权即可查看发布页与拉取源码,当日构建产物沿用既有分发渠道。实际使用仍需配置模型权重路径、服务端口与后端参数,可用模型范围与量化格式以本地转换为准。国内拉取与构建需自行评估网络与编译环境,升级前建议记录当前版本与服务配置以便回退。
限制与下一步
当日来源未将本次列为安全修复版本,不作安全加固保证;性能、显存占用与吞吐变化未在当日发布页量化,不作普遍加速或稳定性保证。许可证方面,当日说明未提及变更,按MIT不变处理,实际复用仍以仓库许可证文件与自身合规评估为准,不对维护持续性作保证。已使用b11756的CUDA用户建议先在隔离环境升级至b11757,重点验证长时间运行后的显存行为与多轮推理一致性,确认无回归后再跟随。后续进展以同一仓库Release页面为准。