ggml-org于上海时间2026年10月23日16时20分通过GitHub Release发布llama.cpp预发布b11836,对应接口published_at为2026年10月23日08时20分06秒,预发布标记为真,标签与名称均为b11836。仓库归属为ggml-org组织下的公开仓库llama.cpp,项目定位为C与C加加本地大模型推理引擎,覆盖llama-server自托管、推测解码、重排序与多后端本地部署。中国用户可直接查看发布页与接口验证版本与发布时间,不以聚合榜单、转载或搜索片段为准。本次对比区间为b11828之后已入库的b11829至b11836,共合入7笔提交,对应提交时间均落在上海时间10月23日当日窗口,核心覆盖推测解码、SYCL、转换脚本与后端整理,未涉及许可证文件变更说明,沿用当日仓库接口显示的MIT条件。该版本为高频预发布中的常规版本更新,聚焦推测解码采样能力与Intel后端文档完善,不改变对外发布节奏。本次均以当日发布页、发布接口与对比差异核验,不补发往日版本动态。

关键变化

对比区间为b11829至b11836,差异显示7个补丁主题可分为四类。推测解码方面,common推测解码实现新增DFlash2概率采样路径,当启用概率参数时按目标温度计算候选概率并采样,同时回传每步候选分布供验证方做拒绝采样,并按请求重设随机种子以保证相同请求行为稳定,注释同步说明该分布回传现同时适用于简单草稿、多令牌预测与DFlash2。SYCL后端方面,文档补齐图记录回放的使用约束与排查指引,明确单卡限制、复用率影响、日志排查与压测建议,并新增图缓存淘汰超时配置,同时合入将设备透传给矩阵乘是否使用单深度神经网络判断的修正。转换与后端整理方面,Mistral3转换脚本为Mistral3模型补齐词表前缀判断,CANN后端为三个变换函数补齐缺失的const限定以保持一致,高通Hexagon后端整理头文件引用与配置变量可见性并新增融合相关文件。本次发布说明与提交信息均未标记破坏性变更与安全修复,MIT不变。

适用对象与兼容性

本次主要面向使用llama.cpp自托管与本地推理的用户,包括启用推测解码中DFlash2路径并希望试用概率采样的调优用户、使用Intel显卡SYCL后端并关注图加速文档与设备判断的用户、需要转换Mistral3系模型的转换链路用户,以及使用昇腾CANN或高通Hexagon后端的对应硬件用户。对仅使用文本对话、补全或已有重排序模板的已有部署,本次推测解码默认贪心路径与通用推理主流程无直接强制变化,升级后无需改写调用即可继续使用;对试用DFlash2概率采样或SYCL图功能的用户,需按文档开启对应开关并对比开启前后效果,国内用户需自行解决GitHub网络可达性并重新编译对应目标。本次为预发布版本,不建议直接用于生产全量升级,生产环境应先在测试服务验证。

限制与下一步

当日来源仅确认推测解码新增概率采样分支与候选分布回传、SYCL图文档与设备透传更新、Mistral3词表前缀与CANN及Hexagon整理,未给出采样质量、延迟、吞吐或全硬件对比数据,检索与推理加速效果不作保证。当日来源未将本次列为安全修复版本,未声明具体操作系统与硬件覆盖清单,不作全平台可用承诺。许可证按MIT不变处理,实际复用仍以仓库许可证文件与自身合规评估为准,不对维护持续性作保证。建议先在隔离或测试环境升级至b11836,重点验证推测解码采样开关行为是否符合预期、常规推理输出是否一致、SYCL与目标后端构建是否正常,再决定是否跟随。后续进展以同一仓库Release页面为准,不补发往日版本动态。