核心变化
结论:北京时间10月22日17时11分,ggml-org在GitHub发布llama.cpp预发布b11814,对比区间为b11813至b11814。这是当日新发生的版本事件,状态明确为预发布,不是稳定版。据官方发布接口核验,发布时间为2026-10-22T09:11:07Z,构建由github-actions机器人完成,预发布标记清晰,编辑于当日北京时间18时前完成核验与制作。中国本地推理用户可将其理解为一次分词空格处理修正,而非功能上新。
官方对比记录显示,本次仅合入1笔提交,由tkran2提交,作者时间为北京时间当日15时58分,主题为vocab : add clean_spaces GGUF key。改动集中在分词加载路径与GGUF键读取,新增对LLM_KV_TOKENIZER_CLEAN_SPACES即tokenizer.ggml.clean_spaces的读取与转换侧保存。具体做法是将minicpm5、lfm2、granite-embed-multi-311m、dbrx、chatglm-bpe、glm4、glm5、exaone4、mellum2等多类预分词的clean_spaces默认设为关闭,其余读取逻辑保持从GGUF取键、缺省为 false。以上均为官方提交信息与代码差异描述的事实,编辑不将其表述为质量排名或兼容范围扩大结论。
该改动的直接背景是官方合并且已关闭的说明中记录的解码问题:BPE词表默认开启清理会导致llama_detokenize删去感叹号、问号、句点、逗号前的空格,以及's、'm、're、've前的空格,例如将x != y处理为x!= y,而Hugging Face侧保持原文不变。本次通过把Hugging Face的clean_up_tokenization_spaces设置存入GGUF新键并在加载时读取,使转换与加载两侧一致;同时对上述受影响预分词默认关闭清理,已有GGUF无需重新转换即可按新默认值生效。
影响与限制
受影响对象为使用llama.cpp预发布构建加载上述分词器模型的本地推理、解码校验与GGUF转换用户,特别是自托管服务端与本地转换部署场景。对仅做一般文本推理、固定版本部署或不涉及上述分词器的用户,本次无必须跟进的理由。限制有四:一是预发布不变,不建议直接替换生产构建;二是本次未变更许可证、分发渠道与系统支持范围;三是官方未提供分词准确率、推理质量或性能对比,不得将空格处理修正理解为普遍效果提升;四是中国区无单独说明,下载、构建与模型可用性需用户结合自身环境自行评估,出现异常应回退到已验证版本。
当前行动
- 1. 在测试环境拉取b11814预发布构建,核对标签名、预发布标记与发布时间是否与官方一致; 2. 如加载上述分词器模型,确认解码空格与b11813表现是否一致,观察x != y类用例是否不再误删空格; 3. 生产环境暂不升级,待后续稳定说明或出现明确解码问题时再决策。
信息责任区分:版本号、发布时间、对比区间与提交内容来自仓库官方发布接口、对比页与提交记录,属于官方宣布;解码问题背景来自仓库内已关闭议题的作者说明,属于来源方陈述,尚未经独立复现验证;“需验证”“不建议生产使用”“不做效果推断”为编辑解释;本文未引用媒体转述,也未使用搜索片段作为证据。必要背景仅来自当日官方来源,未为补充背景抓取往日页面。本条为单一当日事件的时效简讯,不替代开源项目的详细版本解读。