关键变化
ggml-org 于上海时间 2026 年 10 月 20 日 21 时 48 分发布 llama.cpp 预发布 b11756,对比区间为 b11755 至 b11756,仅合入服务端 Anthropic 兼容转换相关的一笔修正。该版本仍为预发布状态,不是稳定版,仓库许可证仍为 MIT,没有许可证变化,也没有附带安全公告。改动位于 server 聊天转换逻辑与配套测试,不涉及新模型接入、构建产物结构调整与接口破坏性变更。
- 透传 id_slot 至内部兼容体:server_chat_convert_anthropic_to_oai 此前仅复制白名单通用参数,遗漏 id_slot,本次补齐使其与全部补全端点一致;避免混合与循环模型整库重算:代理按槽位固定会话缓存时不再回退自动选槽,减少混合与循环结构的全量重预填充;新增服务端断言测试:以带 id_slot 的请求验证实际服务槽位,并经由 GET /slots 观察确认。
适用对象与兼容性
本次最直接的受益对象是自托管 llama-server 并经由 Anthropic 兼容的 /v1/messages 对外提供服务的用户,特别是使用代理将会话固定到持有键值缓存的槽位、且运行混合与循环模型的本地推理场景。此前因 id_slot 未透传,请求会静默走自动选槽,在上述模型上可能付出一次完整重算。此前仅使用 OpenAI 原生补全、分词、量化或 Metal、CUDA 等推理后端的用户,本次运行时影响较小。整体兼容口径与 b11755 一致,升级不需要更换依赖、数据格式与启动参数,已有 id_slot 用法继续有效。
获取与升级建议
中国用户可经官方仓库 ggml-org/llama.cpp 的 Releases 标签 b11756 获取源码与多平台构建产物,发布页同时提供与上一版本的对比入口与各系统二进制下载。由于 GitHub 访问与大文件下载受网络条件影响,使用前宜自行评估网络与构建环境。本地已部署 b11755 或更早预发布的用户,建议先在测试环境验证常用代理配置与 Anthropic 兼容路径,重点检查带 id_slot 的 /v1/messages 是否稳定命中指定槽位,再决定是否替换生产目录。源码构建用户可直接同步标签后重新编译,容器与包管理用户以各自渠道跟进为准。
限制与下一步
本次为预发布例行迭代,改动范围小,官方未给出性能提升数字,也未声明修复安全漏洞,不能据此得出安全性提升或长期维护结论。修复针对代理固定槽位的特定链路,普通单槽或自动选槽场景感知不明显,是否完全覆盖全部混合结构的边界情况,仍需结合具体模型在自有设备上实测。下一步宜关注后续预发布是否继续完善服务端 Anthropic 兼容与槽位相关测试,若在生产使用中遇到槽位未命中或意外重算,可保留服务端日志与 /slots 观察结果并对照官方提交核对,再决定回退到 b11755 或等待新版本。