核心变化
ggml-org于上海时间2026年10月27日05时20分发布llama.cpp预发布b11910,在b11909基础上合入1笔提交。本次提交由wanghqc贡献并经GitHub验证签名合入,对应提交为63b4b30,修改文件为ggml/src/ggml-opencl/ggml-opencl.cpp,共新增21行、删除2行。核心是修复OpenCL后端set_tensor对KV缓存视图的状态恢复丢失问题,预发布属性不变,中国用户可将其理解为一次面向OpenCL稳定性的小步修复。
适用对象与兼容性
本次修复主要面向使用OpenCL后端的本地推理与自托管用户,包括Intel与AMD显卡、骁龙Adreno等OpenCL设备上的llama-server提示缓存与多流推理场景。触发条件为通过llama_state_seq_set_data恢复序列状态,或服务端将提示复制到子槽的内存序列复制流程,且KV缓存为Q4_0、Q8_0、F16或BF16类型。构建产物延续既有矩阵,覆盖Windows、Linux、macOS与Android等平台,仓库许可证仍为MIT,安装与访问条件无变化。
迁移与验证建议
如在OpenCL设备上使用量化KV缓存、服务端提示缓存或多并发采样,建议在隔离环境先验证b11910,重点观察状态恢复后回答是否串回上一请求、多流第二候选是否乱码或返回500错误。维护方在Adreno X2-90上以相关模型验证,状态加载与序列复制在Q8_0与Q4_0下由失败转为通过,后端算子回归测试无变化。升级前请备份模型与提示缓存配置,生产服务暂缓直接替换,待业务回归通过后再全量更新。
限制与已知事项
维护方明确指出,设备端量化KV缓存的部分序列复制用例在修复前后均失败,已拆分至另一任务单独处理,本次不解决该残留问题。预发布版本仅用于测试验证,不代表正式稳定承诺,不对安全性、性能提升或长期维护作保证。如未使用OpenCL后端或未启用状态恢复与多流复制,本次更新无直接影响,可按常规节奏观察后续预发布,无需紧急升级。
- 中国用户下一步:确认是否启用OpenCL与量化KV缓存;隔离验证提示缓存恢复与多流采样是否正确;保留可回滚版本并关注后续修复任务进展,生产环境确认稳定后再升级。