核心变化
ggml-org 于上海时间 2026 年 9 月 23 日 05 时 11 分发布 llama.cpp 预发布 b11114。本次为相对此前预发布的单合入增量更新,发布接口显示 published_at 为 2026-09-22T21:11:34Z,prerelease 为 true,目标提交为 991991118571bf9e2c8bfd46593b230e35fe5796。合入内容为服务端路由驱逐竞态修复,对应拉取请求为 #29217,改动集中在 llama-server 路由与队列调度逻辑,不涉及模型格式与外部接口新增。
适用对象与访问条件
本次更新主要面向两类中国用户:一是使用 llama-server 路由功能同时加载管理多个模型、在本地或内网提供多模型推理服务的部署与运维人员;二是从源码同步主分支或跟随预发布节奏做回归验证的测试与打包维护者。访问条件为公开仓库,可从 GitHub Releases 页按标签 b11114 获取源码与预编译包,或同步对应提交自行构建验证,无需账号与付费,国内下载需自行解决网络可达性。
- 所有模型加载统一经队列调度,快路径加载不再绕过队列,避免 tick 在 LOADED 转换时误驱逐自身请求对应的模型实例;正在停止的模型实例不再接收新请求,新请求进入队列并由下一个可用实例承接,停止标记与 UNLOADED 状态在同一锁内清理;本次同步多平台预编译包,覆盖 Windows、macOS、Linux、Android 与 iOS,另含 UI 包与各加速后端构建
兼容性、迁移与限制
兼容性方面,本次属于常规预发布迭代,发布说明未提及破坏性变更、迁移要求与安全修复,未给出漏洞编号与性能提升数字,可视为平滑升级。行为变化在于高并发路由与模型启停切换路径:此前经快路径加载的模型可能在自身请求被代理前被驱逐,正在停止的子进程可能误接新请求,升级后这两类竞态会被队列与锁机制拦截。对单模型常驻、无路由与频繁启停的用户,理论上不改变推理结果,但服务端调度逻辑有调整,仍需在自身模型与硬件上实测。许可证延续站内已核验的 MIT 条件,实际使用仍以仓库许可证文件与自身合规评估为准,不对维护持续性作保证。
已在使用路由多实例或频繁切换模型的测试环境用户,建议先在测试环境升级至 b11114,重点验证多模型并发加载时是否仍出现模型被提前驱逐、停止中实例是否不再返回异常响应,以及队列等待与切换是否正常,确认无回归后再评估是否跟随。若出现新的排队延迟或调度行为变化,应以官方 Release 说明与 Issue 反馈为准排查。仅做单模型纯文本推理、未使用 server 路由的用户可继续观察,无需为本次跟随升级。