关键变化

llama.cpp b10985 是 ggml-org 于 2026-09-15T14:19:41Z 发布的预发布版本,对应上海时间 2026 年 9 月 15 日 22 时 19 分,发布接口标记 prerelease 为 true。本次合入 RPC 方向改动 #28789,聚焦哈希缓存只存权重与线协议信令调整,未声明新模型架构、量化格式、许可证变更、安全漏洞修复或维护状态变化,版本性质为分布式推理方向的常规版本更新,但包含线协议主版本升级带来的破坏性变更。

核心修复为 RPC 哈希缓存只走权重路径。此前 ggml_backend_rpc_buffer_set_tensor 与异步设置接口对超过 HASH_THRESHOLD 的传输统一做哈希,并允许 rpc-server -c 从文件缓存提供数据。该缓存本意只服务权重,但调度器在后端之间搬运激活时走了同一路径:以 Qwen3.8-Flash-Next 双节点切分为例,每个超过 10MB 的预填充微批都被哈希并写入工作节点的缓存目录,一天后膨胀至 1.4TB,后续还可能被误命中。本次改为仅对标记为 GGML_BACKEND_BUFFER_USAGE_WEIGHTS 的权重缓冲使用哈希路径,激活搬运不再进文件缓存,从根因上止住磁盘膨胀与误命中。

配套调整了缓存写入与线协议信令。服务端此前对超过阈值的每次 SET_TENSOR 都写缓存目录,即使是调度器下发的计算数据;本次改为记住上一次未命中哈希检查的 SET_TENSOR_HASH,仅保存随后携带相同哈希的 SET_TENSOR,即客户端重新下发的权重。同时以 SET_TENSOR 消息中的 cache_flag 字节替代服务端的 pending_cache 状态:客户端在哈希未命中时置位,服务端仅在置位时落盘。上述消息格式变化已同步提升 RPC_PROTO_MAJOR_VERSION,新旧 RPC 客户端与服务端不可混用,必须同版本配对。

兼容性与访问条件

仓库归属为 ggml-org/llama.cpp,公开仓库,描述为 LLM inference in C/C++,现有已核验许可证为 MIT,可在保留版权声明条件下分发与修改,本次发布说明未提及许可证变化。本次发布资产与往版一致提供预编译包,已在当日发布页面核验包括 Windows(含 CPU、CUDA 系列、Vulkan、OpenVINO 与 ROCm 变体)、macOS arm64 与 x64、Ubuntu(含 CPU、Vulkan、CUDA、ROCm、OpenVINO 与 SYCL 变体)、Android arm64、iOS XCFramework 以及通用 UI 包。用户可从 Release 页面按平台下载对应压缩包,或克隆仓库自行编译,访问无需额外授权。

兼容性方面,未使用 RPC 分布式切分的本地单机推理用户行为基本不变,模型文件、GGUF 读写与已有量化权重无需重转,推理数值逻辑未动。使用 RPC 多节点切分、启用 rpc-server -c 文件缓存的用户属于直接影响面:升级后需同步更新客户端与服务端到 b10985,否则因主版本不一致无法互通;升级前建议先在预发环境验证双节点与常用模型的预填充、解码与长上下文回归,升级后可检查并清理此前被激活数据撑大的缓存目录,确认磁盘占用回落。未声明数据库、配置格式或命令行破坏性变更,llama-server 与常用推理参数可沿用。

限制与下一步

  • 预发布增量版本,不适合当作稳定版直接全量替换;本次未声明安全漏洞修复,不应解读为安全加固版本;改动未涉及新模型架构支持、量化格式新增或推理加速承诺,不要期待通用性能提升;Qwen3.8-Flash-Next 双节点与 1.4TB 膨胀为本次修复引用的特定复现条件,不同模型、切分与批大小下的磁盘与命中表现仍需实测;RPC 线协议升级要求客户端与服务端同步,存量混部集群需安排停机窗口

中国用户如正在使用 RPC 做双机或多后端切分,且观察到缓存目录异常增大或命中不符合预期,建议优先在测试环境拉取 b10985 验证干净构建与增量构建,对比升级前后缓存目录增长、双节点预填充稳定性与常用回归,通过后再推广到生产并同步清理旧缓存。仅做本地 CPU、CUDA、Metal 或 Vulkan 单机推理且不使用 RPC 的用户可暂缓,继续跟踪同一仓库 Release 页面即可,不以聚合榜单或转载为准。