ggml-org于上海时间2026年10月23日01时02分通过GitHub Release发布llama.cpp预发布b11821,对应接口published_at为2026年10月22日17时02分28秒,预发布标记为真,标签与名称均为b11821。仓库归属为ggml-org组织下的公开仓库llama.cpp,项目定位为C与C加加本地大模型推理引擎,覆盖llama-server自托管、多后端本地部署与推测解码验证。中国用户可直接查看发布页与接口验证版本与发布时间,不以聚合榜单、转载或搜索片段为准。本次对比区间为b11819至b11821,核心为合入请求29864的Intel XMX矩阵引擎重构,不涉及许可证变更说明,沿用站内已核验的MIT条件。该版本为高频预发布中的常规后端性能迭代,聚焦SYCL后端推测解码与短批量场景,对终端对话主流程无直接功能变更。本次均以当日发布页、发布接口与对比页核验,不补发往日版本动态。
关键变化
对比区间为b11819至b11821,主题为Intel XMX矩阵引擎多列重构,合入请求29864由budiony提交,目标为SYCL后端int8 DPAS与ESIMD路径。实现上支持2至80激活列的mul_mat_vec_q重排K量化与Q8_0权重,面向推测解码验证每次2至8词元与短提示批量9至80词元,其中Q2_K、Q3_K与Q8_0三类型亦覆盖单列。重写xmx_mul_mat并要求64字节对齐与16字节步幅校验,移除GGML_TYPE_Q8_0激活定义,新增融合门控核一次计算FFN双权重并在尾部应用SWIGLU或GEGLU,覆盖至多16列与全部六种XMX类型,同时移除临时XMX_NOGLU环境开关。新增GGML_SYCL_XMX_MAX_COLS默认80与GLU_MAX_COLS默认16两项控制变量,后者钳制在16以内只能调低。Q2_K引入最小和优化,B70实测Q4_K_M的tg128由26.67提至28.23词元每秒约5.9%,Q6_K不变,三项算子测试分别1727与1361等全通过,批量1困惑度XMX开与关为5.2064与5.2058。发布说明未标记破坏性变更与安全修复,MIT不变。本次发布事件位于上海时间10月23日当日窗口,满足当日资讯硬门槛。
适用对象与兼容性
本次主要面向Intel显卡SYCL后端本地推理与自托管用户,包括在Arc Pro B70等XMX设备上使用推测解码验证与短批量提示的部署,以及关注Q2_K、Q3_K、Q4_K与Q8_0量化性能的调优用户。对仅使用CPU、CUDA、Vulkan或Metal后端的已有部署,本次XMX路径无直接影响,升级后无需改写调用即可继续使用;对使用SYCL XMX的部署,需重新编译对应目标并确认两项新增环境变量保持默认或按需调低,融合门控核覆盖至多16列,更大批量仍走多列主路径。从源码升级的用户建议回归推测解码与后端算子用例,国内用户需自行解决GitHub网络可达性并准备模型权重。本次为预发布版本,不建议直接用于生产全量升级,生产环境应先在测试服务验证。
限制与下一步
当日来源仅确认上述多列重构、融合门控核、环境变量与B70上Qwen3.8 27B变体的受控提速数据,未给出全模型、全硬件与长期稳定性对比,端到端推测解码提速以当日表格与采样噪声说明为准,不作普遍精度或性能保证。当日来源未将本次列为安全修复版本,未声明具体操作系统与硬件覆盖清单,不作全平台可用承诺。许可证按MIT不变处理,实际复用仍以仓库许可证文件与自身合规评估为准,不对维护持续性作保证。建议先在隔离或测试环境升级至b11821,重点验证推测解码步进耗时是否下降、既有量化模型输出是否一致、新增变量是否符合预期,再决定是否跟随。后续进展以同一仓库Release页面为准,不补发往日版本动态。