ggml-org于上海时间2026年10月21日16时17分通过GitHub Release发布llama.cpp预发布b11786,对应published_at为2026-10-21T08:17:46Z,prerelease标记为true,标签与名称均为b11786。仓库归属为ggml-org组织下的ggml-org/llama.cpp,项目定位为C/C++本地大模型推理引擎,公开仓库且非复刻,中国用户可直接查看发布页与拉取源码。本次对比区间为b11785至b11786,仅合入1笔CPU内核提交,不涉及新模型支持、许可证变更与安全公告,沿用站内已核验与当日仓库接口确认的MIT条件。本次不以聚合榜单、转载或搜索片段为准,均以当日Release页面、Release API与对比页核验。
关键变化
- 对比区间为b11785至b11786共1笔提交,对应合入请求30737与提交479a527,提交日期为当日;核心是将CPU端f32 gelu_quick与geglu_quick改为不依赖fp16查表直接计算,同时保留GGML_GELU_QUICK_FP16表路径;新增VXE架构gelu_quick向量路径,并为SVE、NEON、AVX512、AVX2、SSE与RISC-V补齐对应向量实现,公式按gelu_quick(x)=x/(1+exp(-1.702 x))实现并注明分子保留x以避免溢出;同步新增f32 CPU内核的test-gelu-quick用例,并从测试输入中去除inf与nan;发布说明未标记破坏性变更与安全修复,MIT不变
适用对象与价值
本次主要面向使用CPU后端做本地推理与自托管服务的用户,包括在x86、ARM与RISC-V等CPU环境运行llama.cpp的用户,以及关注激活函数精度与稳定性的维护者。此前f32路径依赖fp16查表,在部分精度与架构路径下维护成本较高,多架构向量覆盖也不完整,需要分别处理异常输入。本次合入后,同一f32计算路径改为直接公式计算并补齐多架构向量实现,测试覆盖随之增加,CPU推理用户可在测试环境验证输出一致性后跟随。对仅使用CUDA、Vulkan、Metal等GPU后端且不依赖CPU gelu_quick路径的用户,本次无直接感知变化,可按常规节奏跟随。中国用户如需验证,需自行解决GitHub网络可达性,并核对本地架构与构建参数。
兼容性与安装条件
本次为预发布版本,不建议直接用于生产全量升级,存量服务宜先在隔离或测试环境验证。发布页未标记破坏性变更与既有接口参数调整,现有启动参数、模型加载与文本接口路径保持兼容,但CPU内核实现变化涉及底层数值路径,升级前建议记录当前版本与服务配置以便回退。仓库为公开仓库,无需授权即可查看发布页与拉取源码,当日构建产物沿用既有分发渠道,实际使用仍需配置模型权重路径、服务端口与后端参数。国内拉取与编译需自行评估网络、工具链与编译环境,确认构建日志无新增告警后再推进。
限制与下一步
当日来源未将本次列为安全修复版本,不作安全加固保证;CPU不同架构、编译选项与模型下的实际延迟与精度差异未在当日发布页量化,不作普遍性能提升保证。许可证方面,当日仓库接口显示为MIT License且发布说明未提及变更,按MIT不变处理,实际复用仍以仓库许可证文件与自身合规评估为准,不对维护持续性作保证。需要使用的用户建议先在隔离环境升级至b11786,重点验证CPU模型加载是否正常、gelu相关输出是否一致,确认无回归后再跟随。后续进展以同一仓库Release页面为准。