核心变化
ggml-org 在上海时间2026年10月20日17时06分通过 GitHub 发布 llama.cpp 预发布 b11753,对应 UTC 时间为当日09时06分,提交为 d8d92973,发布状态仍为预发布。本次对比区间为 b11752 至 b11753,仅合入1笔提交、改动1个文件,即拉取请求第30845号,修改 src/llama-vocab.cpp 共2行增加、2行删除。改动内容为在 Tekken 与 GPT-4o 两类预分词正则的前瞻断言中补入 \p{M},将 (?=[\p{L}]) 统一改为 (?=[\p{L}\p{M}]),使其与注释中引用的 tokenizer.json 原始正则保持一致。发布产物与往常预发布一致,继续提供源码与多平台构建包下载。本次未提及许可证与维护状态变更。
适用对象与兼容条件
本次更新面向使用 Tekken 与 GPT-4o 分词路径的本地推理与模型转换用户,特别是处理带组合标记文本的多语言场景,例如重音符号与变音符号较多的语言。此前前瞻仅检查字母类别,可能遗漏标记类别,导致分词边界与官方分词器不一致,修正后更贴近原始定义。仓库归属仍为 ggml-org 名下的 llama.cpp,获取方式为访问 GitHub 发布页 b11753 标签下载源码或各平台产物,也可拉取对应标签后按官方文档自行构建。站内同仓库历史条目均记录许可证为 MIT,本次补丁仅改分词正则,未触及许可证文件与依赖声明。已有 b11752 的非相关分词用户可将其视为常规小幅修正,无需紧急跟进,相关语言用户可在测试后评估。
安装访问与升级建议
用户可通过仓库发布页的 b11753 标签获取源码包与 Linux、Windows 等平台构建产物,也可通过 git 拉取该标签后重新编译验证。自行构建用户无需调整工具链与系统依赖,沿用现有 CPU、CUDA、Vulkan 或其他后端构建流程即可,重点验证修改后的 llama-vocab.cpp 是否正常编译。升级前建议保留可用的 b11752 版本、配置文件与模型文件作为回退,先在测试环境加载常用模型,对比含组合标记的提示词的分词结果与推理输出是否符合预期,确认无回归后再替换线上版本。由于本次为预发布,不建议直接覆盖生产服务,自动化构建脚本如固定了旧标签,应在测试通过后再切换到 b11753。
限制、安全与下一步
本次为分词正则对齐修正,未声明安全修复,未变更模型格式、推理接口与维护状态,也未提供性能对比数据,实际分词准确性提升仅限 Tekken 与 GPT-4o 两类预分词场景,其他分词类型与后端不受影响,不作普遍效果保证。将本地服务对外暴露时仍需自行评估身份校验与防火墙策略,不宜无保护开放。中国用户经 GitHub 获取源码与产物时,需自行评估网络条件与合规要求。下一步可继续跟踪该仓库 b11753 之后版本,观察该修正在更多多语言模型上的表现,确认稳定后再决定是否批量升级,遇到分词异常时可对照原始 tokenizer.json 与本次补丁排查。