ggml-org于上海时间2026年10月21日18时23分通过GitHub Release发布llama.cpp预发布b11789,对应published_at为2026-10-21T10:23:49Z,prerelease标记为true,标签与名称均为b11789。仓库归属为ggml-org组织下的ggml-org/llama.cpp,项目定位为C/C++本地大模型推理引擎,公开仓库且非复刻,中国用户可直接查看发布页与拉取源码。本次对比区间为b11788至b11789,仅合入1笔OpenCL内核提交,不涉及新模型支持、许可证变更与安全公告,沿用站内已核验与当日仓库接口确认的MIT条件。本次不以聚合榜单、转载或搜索片段为准,均以当日Release页面、Release API与对比页核验。

关键变化

  • 对比区间为b11788至b11789共1笔提交,对应合入请求30753与提交b531e4c,提交日期为当日;核心是为OpenCL新增向量加载DP4A矩阵乘变体 act_vload4,覆盖q8_0、q4_k、q5_k、q6_k与q4_0等多量化类型;同步重命名相关内核与环境变量,调整内核加载与分发逻辑;发布说明未标记破坏性变更与安全修复,MIT不变

适用对象与价值

本次主要面向使用OpenCL后端做本地推理与自托管服务的用户,包括在支持DP4A的消费级与集成显卡环境运行llama.cpp的用户,以及维护OpenCL量化矩阵乘路径的开发者。此前DP4A密集预填充GEMM已提供基础与纹理权重等变体,但在激活向量加载路径上覆盖不完整,不同量化类型的内核命名与环境开关也不完全统一。本次合入后,同一DP4A路径新增向量加载变体并统一重命名,OpenCL用户可在测试环境验证对应量化模型的加载与输出一致性后跟随。对仅使用CUDA、Vulkan、Metal、SYCL等其他后端且不依赖OpenCL DP4A路径的用户,本次无直接感知变化,可按常规节奏跟随。中国用户如需验证,需自行解决GitHub网络可达性,并核对本地显卡驱动与OpenCL运行环境。

兼容性与安装条件

本次为预发布版本,不建议直接用于生产全量升级,存量服务宜先在隔离或测试环境验证。发布页未标记破坏性变更与既有接口参数调整,现有启动参数、模型加载与文本接口路径保持兼容,但OpenCL内核实现变化涉及底层矩阵乘路径,升级前建议记录当前版本与服务配置以便回退。仓库为公开仓库,无需授权即可查看发布页与拉取源码,当日构建产物沿用既有分发渠道,实际使用仍需配置模型权重路径、服务端口与后端参数。国内拉取与编译需自行评估网络、工具链与编译环境,确认构建日志无新增告警后再推进。

限制与下一步

当日来源未将本次列为安全修复版本,不作安全加固保证;不同OpenCL设备、驱动版本与量化模型下的实际延迟与精度差异未在当日发布页量化,不作普遍性能提升保证。许可证方面,当日仓库接口显示为MIT License且发布说明未提及变更,按MIT不变处理,实际复用仍以仓库许可证文件与自身合规评估为准,不对维护持续性作保证。需要使用的用户建议先在隔离环境升级至b11789,重点验证OpenCL模型加载是否正常、相关量化输出是否一致,确认无回归后再跟随。后续进展以同一仓库Release页面为准。