核心变化
ggml-org 于上海时间 2026 年 9 月 22 日 22 时 52 分发布 llama.cpp 预发布 b11103,本次为面向腾讯混元 OCR 的推测解码专项修复。发布说明明确由合入第 28890 号变更构成,核心是为 HunyuanVL 与 HunyuanOCR 目标图补齐 DFlash 推测解码所需的层输入张量注册,解决此前以 DFlash 草稿模型服务混元 OCR 目标时在首次图构建阶段触发断言并中断的问题。维护方说明已使用腾讯 HunyuanOCR 1.5 及其 DFlash 草稿模型验证,图像请求可正常运行,草稿接受率约 0.5,非推测运行与推测运行的 OCR 输出字节一致。
适用对象与访问条件
本次更新主要面向两类中国用户:一是在本地或自建服务中部署 HunyuanOCR、HunyuanVL 并希望启用 DFlash 推测解码加速的用户;二是需要以 --target-model-dir 方式将 DFlash 草稿模型转换为 GGUF 的模型转换用户。普通文本推理、未使用混元系列模型或未启用推测解码的用户不受本次中断影响,可暂不升级。访问条件为公开仓库,可从 GitHub Releases 页下载对应平台预编译包,或同步标签源码自行构建验证,无需额外账号与付费,国内下载需自行解决网络可达性。
- 为 HunyuanVL 注册 DFlash 层输入抽头,hunyuan-dense 复用同一图一并覆盖,hunyuan-moe 独立图本次未改;未启用推测实现时无行为变化。从混元目标类借用词表逻辑时改为模块级函数并正确切换目标配置,修复 DFlashModel 缺少 _fix_special_tokens 导致的转换必定中断,以及草稿配置误读目标 pad_token_id 与 eod_token_id 导致特殊词表写入不一致的问题。维护方验证 HunyuanOCR 1.5 与 v1.0 目标均可完成草稿转换,不带 --target-model-dir 的常规转换输出与此前字节一致。同步发布 Windows、macOS、Linux、Android 与 iOS 预编译包,并覆盖 CUDA、Vulkan、ROCm、OpenVINO 与 SYCL 等后端。
兼容性、迁移与限制
兼容性方面,本次属于预发布增量修复,不含发布说明之外的功能变更。维护方明确向量仅在推测实现启用相关层时读取,常规推理路径无行为变化;常规 GGUF 转换保持字节一致,可视为平滑升级。但作为预发布,稳定性仍低于稳定版,且验证范围明确限定为 HunyuanOCR 1.5 及其配套 DFlash 草稿,接受率约 0.5 仅为单次测试结果,不代表所有图像、分辨率与提示下均可达该水平。hunyuan-moe 仍使用独立图,本次未覆盖,相关用户不应预期问题已解决。本次发布说明未涉及许可证调整,延续站内已核验的 MIT 条件,实际使用仍以仓库许可证文件与自身合规评估为准。
已部署混元 OCR 推测服务的用户,建议先在测试环境升级 b11103 并复测图像请求成功率、首 token 时延与 OCR 文本一致性,再评估生产灰度。模型转换用户可分别以 1.5 与 v1.0 目标验证草稿转换是否通过,并抽查特殊词表与解码表现。暂未使用混元系列或推测解码的用户可继续观察后续预发布,无需为本次跟随升级。若在其他模型或后端发现回归,应固定回退版本并以官方 Release 与 Issue 为准反馈。