核心变化

上海时间2026年9月22日15时06分,ggml-org发布llama.cpp预发布b11097。该版本发布接口显示published_at为2026-09-22T07:06:53Z,目标提交为ec5a12b85ae32fbccfa4276051382330a8e6458b,提交时间为2026-09-22T06:14:00Z,换算后均落在上海当日窗口内,prerelease属性为true。相对b11095的增量核心为一个OpenCL提交,由shaofeiqi提交并经GitHub验证,信息为opencl: add A8 Q4_0 non-MoE dp4a binary kernel,对应合入为#29055。实际代码变更集中在ggml/src/ggml-opencl/ggml-opencl.cpp,统计为新增79行、删除0行,未触及其他推理路径与服务端文件。本次未提及新增模型架构、量化格式扩展、采样参数、提示模板或许可证调整。

适用对象与兼容性

该版本主要面向使用OpenCL后端的本地推理用户,特别是依赖Adreno等GPU的Windows与移动端部署场景,也包括需要在OpenCL路径验证Q4_0量化推理的中国开发者。代码层面新增名为gemm_noshuffle_q4_0_q8_1_dp4a_ila_a8的二进制内核加载与调用分支,并在Adreno X2E条件下从设备二进制中构建该内核;同时引入GGML_OPENCL_Q4_0_ILA_DP4A环境变量,用于控制是否启用新的Q4_0 ILA DP4A路径。兼容性方面,模型文件、GGUF转换流程与llama-server接口无行为变更说明,CPU、CUDA、Vulkan、Metal等其他后端不受该提交直接影响;但OpenCL内核选择逻辑发生变化,长期固定旧构建或自行打补丁的用户需要检查合并情况,并在测试环境验证所用设备是否命中新分支。

仓库归属为github.com/ggml-org/llama.cpp,维护方为ggml-org,项目描述为C/C++大模型推理,许可证经官方仓库接口核验为MIT,未发生变化。预发布意味着稳定性低于稳定版,不建议直接替换生产服务。获取时应核对版本标识b11097与对应平台文件名,避免混用不同构建号的二进制与运行库。

迁移与访问条件

  • 经GitHub Release获取b11097对应平台压缩包,或同步源码标签b11097自行构建;中国用户需自行解决GitHub访问与大文件下载条件。 如需验证本次OpenCL变更,应在测试环境使用目标OpenCL设备启动推理并覆盖Q4_0模型加载与常用对话链,另对比设置与未设置GGML_OPENCL_Q4_0_ILA_DP4A时的加载日志与输出一致性,确认新分支是否被正确启用。 仅使用CPU、CUDA、Metal或Vulkan推理、未使用OpenCL后端或沿用b11095且无OpenCL变更需求的用户,可暂不升级;确需升级时,先在隔离环境验证再替换线上二进制。

限制与下一步

已知限制:本次为单一OpenCL后端迭代,发布与提交说明均未提供性能、显存、精度数据与基准对比,不能据此判断推理速度或效果提升;发布说明未将其标注为安全公告,不应视为全面安全修复或漏洞处置结论。新内核明确限定非MoE场景,MoE模型与非目标Adreno设备的行为不在本次变更覆盖范围内,升级前应确认目标平台确有对应预编译包。

下一步:使用OpenCL本地推理的维护者可在测试设备上拉取b11097,完成模型加载、正常推理与环境变量开关对比后再小规模灰度;普通本地部署用户可继续观望,待出现模型支持、推理或服务端功能向变化时再评估升级。升级前均建议备份模型、配置与自定义脚本,并在替换后完成服务接口连通性检查。