核心结论

官方发布页标明,ggml-org于北京时间2026年10月27日1时26分发布llama.cpp预发布b11901,对应UTC时间为2026-10-26T17:26:52Z,预发布状态不变。官方比较页显示,对比区间为b11900至b11901,合入1项提交,集中在SYCL后端的重排序临时内存治理。编辑已核验发布时间与提交区间,尚未发现独立第三方解读,以下细节均以官方仓库页面为准。

本次变化

  • 1. 重排序临时内存上限收紧为32 MiB:官方提交记录为sycl : bound reorder temp memory to 32 MiB(#31062),不再为整张量分配同等大小的临时拷贝,改用分块打包与侧缓冲方案。 2. 异步分配容错:SYCL异步分配失败时捕获异常并返回空指针,记录告警后走同步路径回退,避免直接抛出导致中断。 3. 按官方PR说明验证,在4卡Arc Pro B70上运行Muse Spark Open 816B量化模型时,重排序峰值由2816 MiB降至130 MiB,释放约33 GiB显存,默认余量下由首次请求显存不足崩溃转为正常完成。 4. 官方称同布局下速度无影响,困惑度2.6585与主分支2.6665基本持平,test-backend-ops的MUL_MAT用例2277项全部通过。

影响与限制

对中国自托管用户而言,本次更新的直接价值在于Intel显卡多卡部署超大MoE模型时显存占用更可控,默认自动适配余量下也更不易因重排序触发显存不足,适合本地大模型联调与离线推理。官方实现仍属SYCL后端细节优化,不改变模型能力、量化格式与接口,AMD、英伟达与CPU路径不受影响。官方仍将其标记为预发布,构建产物为自动化生成,行为仍可能调整,不应视为生产级稳定性保证。

下一步

建议SYCL与Intel显卡用户先在测试环境拉取b11901验证重排序、显存占用与多轮生成是否正常,重点确认大上下文与MoE专家张量场景无显存告警,再决定是否跟进后续预发布。可通过官方发布页查看对应构建产物与比较页核对1项提交,不以单次预发布推断长期路线。若需生产部署,应等待正式版本或经充分验证的稳定标签,并按备份后验证的流程升级。