ggml-org于上海时间2026年10月21日9时11分通过GitHub Release发布llama.cpp预发布b11769,接口显示published_at为2026-10-21T01:11:10Z,prerelease标记为true,标签与名称均为b11769。仓库归属为ggml-org组织下的ggml-org/llama.cpp,项目定位为本地大模型推理引擎,覆盖llama-server自托管与CPU、CUDA、Vulkan等多后端本地部署。本次当日发布页未提及许可证变更,沿用站内已核验的MIT条件。中国用户可通过当日Release页面与Release API验证版本与发布时间,不以聚合榜单、转载或搜索片段为准。
关键变化
- 服务端路由层未将客户端断开完全透传至子请求,响应等待可能导致延迟取消,本次修复该透传逻辑;配套满足路由断开类型检查并移除对时序敏感的路由取消测试;对比区间为b11768至b11769仅合入1笔服务端提交,未声明其他功能新增,未标记破坏性变更,MIT许可不变
适用对象与价值
本次主要面向使用llama-server对外提供OpenAI兼容或Responses兼容接口的自托管用户,包括网关维护者与多并发服务端运维者。此前路由在客户端已断开时未能及时将取消信号传至子请求,等待响应路径可能继续占用资源并延迟释放;在高并发或客户端频繁超时重试场景下,残留等待会占用连接与计算资源。本次将断开透传补齐后,取消可更快向下游传递,有助于减少无效等待与资源滞留。对仅做本地单机推理、不经过server路由或并发量极低的用户,本次无直接感知变化,可按常规节奏跟随。中国用户如需验证,需自行解决GitHub网络可达性,并核对服务端构建版本与接口调用方式一致。
兼容性与安装条件
本次为预发布版本,不建议直接用于生产全量升级,存量服务宜先在测试环境验证。发布说明将变更列为常规服务端修复,未标记破坏性变更与接口参数调整,现有启动参数、模型加载与接口路径保持兼容,但涉及路由与取消时序,仍需回归客户端主动中断、超时取消与并发压测流程。仓库为公开仓库,无需授权即可查看发布页与拉取源码,当日构建产物沿用既有分发渠道,覆盖macOS、Linux、Windows、Android与iOS等。实际使用仍需配置模型权重路径、服务端口与后端参数,可用模型范围与量化格式以本地转换为准。国内拉取与构建需自行评估网络与编译环境,升级前建议记录当前版本与服务配置以便回退。
限制与下一步
当日来源未将本次列为安全修复版本,不作安全加固保证;断开透传对延迟与资源占用的改善幅度未在当日发布页量化,不作普遍性能提升保证。许可证方面,当日说明未提及变更,按MIT不变处理,实际复用仍以仓库许可证文件与自身合规评估为准,不对维护持续性作保证。已部署llama-server的自托管用户建议先在隔离环境升级至b11769,重点验证客户端中断后服务端日志是否及时结束子请求、超时场景是否仍有滞留等待,确认无回归后再跟随。后续进展以同一仓库Release页面为准。