核心变化
ggml-org 在上海时间2026年10月20日16时18分通过 GitHub 发布 llama.cpp 预发布 b11752,对应 UTC 时间为当日08时18分,目标提交为 7879491,发布状态仍为预发布。本次对比区间为 b11751 至 b11752,仅合入拉取请求第30818号的测试相关改动,未涉及模型结构与推理接口变更。改动包含两部分:一是使 MoE 路由选择不再受后端数值噪声影响,路由分数区间为0至1,随机抽样曾使首尾专家在噪声范围内打平,导致不同后端将同一 token 路由到不同专家,logits 差异达4e-3,远高于常规的5e-7;Beam 是唯一具有真实 top-k与分组 top-k 的架构,8选2加4组选2组,在 M2 Ultra 上20组种子中有2组失败。修复以步长为2的斜坡偏置为每个专家划分独立分数区间,使 top-k 仅取决于专家序号,权重仍取自无偏概率,保持输出量级不变,修复后 Beam 在160组种子上与 CPU 基准对齐至4e-7。二是区分 Apple SoC 的 CPU 与 GPU 设备,此前两者均显示相同描述,测试表出现两行不可区分记录,失败时无法判断是 Metal 设备还是主机 CPU 产生,现补入设备名,该名称与启动参数可取值一致。发布产物与往常预发布一致,继续提供源码与多平台构建包下载。本次未提及许可证与维护状态变更。
适用对象与兼容条件
本次更新面向使用 llama.cpp 进行本地推理与回归测试的用户,特别是验证 Beam 架构 MoE 模型与苹果芯片 Metal 后端的测试与开发者。此前在 M2 Ultra 等苹果芯片上出现偶发路由不一致或测试表设备行难以定位问题的用户,可从本次修复中获得更稳定的测试结论。仓库归属仍为 ggml-org 名下的 llama.cpp,获取方式为访问 GitHub 发布页 b11752 标签下载源码或各平台产物,也可拉取对应标签后按官方文档自行构建。站内同仓库历史条目均记录许可证为 MIT,本次仅改测试逻辑,未触及许可证文件与依赖声明。已有 b11751 且不涉及 Beam 测试的用户可将其视为常规小幅修正,无需紧急跟进,相关测试用户可在受控环境先行验证。
安装访问与升级建议
用户可通过仓库发布页的 b11752 标签获取源码包与 Linux、Windows 等平台构建产物,也可通过 git 拉取该标签后重新编译验证。自行构建用户无需调整工具链与系统依赖,沿用现有 CPU、CUDA、Vulkan、Metal 或其他后端构建流程即可,重点确认测试相关代码正常编译。升级前建议保留可用的 b11751 版本、配置文件与模型文件作为回退,先在测试环境运行常用 MoE 模型与 Beam 相关用例,对比路由结果与测试表设备显示是否符合预期,确认无回归后再替换工作版本。由于本次为预发布,不建议直接覆盖生产服务,自动化构建脚本如固定了旧标签,应在测试通过后再切换到 b11752。
限制、安全与下一步
本次为测试逻辑修正,未声明安全修复,未变更模型格式、推理接口与维护状态,也未提供性能对比数据,实际效果仅限 MoE 路由测试稳定性与苹果芯片设备区分,其他架构与后端不受影响,不作普遍效果保证。将本地服务对外暴露时仍需自行评估身份校验与防火墙策略,不宜无保护开放。中国用户经 GitHub 获取源码与产物时,需自行评估网络条件与合规要求。下一步可继续跟踪该仓库 b11752 之后版本,观察该修正在更多 MoE 模型与苹果芯片机型上的表现,确认稳定后再决定是否批量升级,遇到测试异常时可对照提交说明与本次补丁排查。