ggml-org于上海时间2026年10月21日11时04分通过GitHub Release发布llama.cpp预发布b11776,接口显示published_at为2026-10-21T03:04:08Z,prerelease标记为true,标签与名称均为b11776。仓库归属为ggml-org组织下的ggml-org/llama.cpp,项目定位为本地大模型推理引擎,覆盖llama-server自托管与CPU、CUDA、Vulkan等多后端本地部署。本次当日发布页以服务端推测解码对数概率支持为主,未提及许可证变更,沿用站内已核验的MIT条件。中国用户可通过当日Release页面与Release API验证版本与发布时间,不以聚合榜单、转载或搜索片段为准。
关键变化
- 服务端推测解码路径补齐对数概率:在启用草稿的推测解码路径中返回目标模型对数概率,避免此前top_logprobs为空且对数概率为零;新增服务端回归测试,对比启用草稿与未启用草稿基线,断言已接受草稿词元上报目标模型对数概率;关联场景为草稿启用运行与基线不一致,修复前在主分支复现失败,合入后通过;对比区间主要合入该服务端修复,未标记破坏性变更,MIT许可不变
适用对象与价值
本次主要面向在llama-server启用推测解码并依赖对数概率的用户,包括需要取top_logprobs做重排、置信度评估、调试与可观测性建设的自托管推理维护者。此前在推测路径下已接受词元缺失目标模型对数概率,直接读取概率或对比基线可能得到零值或空集,影响下游评分与问题定位。本次补齐推测路径的概率返回并以回归测试锁定草稿与基线一致后,相关服务可在保持加速的同时获得与非草稿一致的概率输出,减少因路径差异造成的适配分支。对未启用推测解码、仅做普通对话或已有稳定版本的用户,本次无直接感知变化,可按常规节奏跟随。中国用户如需验证,需自行解决GitHub网络可达性,并核对本地构建版本与服务配置。
兼容性与安装条件
本次为预发布版本,不建议直接用于生产全量升级,存量服务宜先在测试环境验证。发布说明将变更列为服务端常规修复,未标记破坏性变更与接口参数调整,现有启动参数、模型加载与接口路径保持兼容,但涉及推测解码与概率输出,仍需回归启用与关闭草稿两条路径的概率一致性。仓库为公开仓库,无需授权即可查看发布页与拉取源码,当日构建产物沿用既有分发渠道,覆盖macOS、Linux、Windows、Android与iOS等,实际使用仍需配置模型权重路径、服务端口与后端参数。国内拉取与构建需自行评估网络与编译环境,升级前建议记录当前版本与服务配置以便回退。
限制与下一步
当日来源未将本次列为安全修复版本,不作安全加固保证;推测解码在不同模型与采样配置下的加速效果与概率稳定性未在当日发布页量化,不作普遍性能提升保证。许可证方面,当日说明未提及变更,按MIT不变处理,实际复用仍以仓库许可证文件与自身合规评估为准,不对维护持续性作保证。需要使用推测解码对数概率的用户建议先在隔离环境升级至b11776,重点验证启用草稿时已接受词元的对数概率与非草稿基线是否一致,以及top_logprobs是否正常返回,确认无回归后再跟随。后续进展以同一仓库Release页面为准。