核心结论
北京时间 9 月 21 日，Hugging Face 官方博客与 GitHub 仓库同步推出 tokenizers v1.0.0-rc.2 预发布。官方宣布这是 v1 的发布候选而非正式 1.0.0：Apple M4 Max 单线程编码较 v0.23 快 3 至 30 倍，8 线程达线性扩展的 76%，同时输出 Token ID 与 v0.23 完全一致。Rust 用户可经 crates.io 以 cargo add tokenizers --pre 获取，正式版需待更多模型迁至新合并循环后再发布。
当日证据
官方博客发布时间为 9 月 21 日，GitHub Release v1.0.0-rc.2 的发布时间为 9 月 21 日 11:28 UTC，即北京时间 19:28，同属 Asia/Shanghai 当日窗口。两处均明确标注预发布状态，API、词表与合并排序保持不变，目标是让分词不再拖慢模型。本条为官方宣布，基准数据为官方自测，尚未经独立第三方验证。
主要变化
工作区拆分为 tk-encode 必需运行时与 tk-serialize、tk-convert、tk-train 可选组件；合并工作集放入调用方拥有的暂存区，全程不再触碰分配器；以 bitcannon 位流布尔运算替代正则切分，按 64 字节寄存器判定边界；引入线程本地词缓存，重复词一次合并后直接命中；以侵入式双向链表重写合并循环，并以单次模型调用处理一批预分词；原生并行下多线程共享同一分词器，各线程使用独立暂存与缓存子池。官方同时称包体积缩小至约六分之一，峰值内存下降，并补齐 Node.js 绑定与更快解码。
测量口径与可复现性：官方经开源 tokbench 给出，单线程与 8 物理核绑定，去重文档而非重复单文档，载入耗时单计，以 FNV-1a 校验输出 ID；tokbench 仓库提供复跑命令与公开语料，完整流程可在自有硬件上重测。
限制与不确定性
增益随模型与语言起伏大，低端为 t5-base，高端为 gpt2；仅覆盖 GPT-2、cl100k、o200k、Tekken 与 DeepSeek 等少数常用切分模式，未命中模式仍走正则路径、无此加速。中文等重复度低的文本难以吃到词缓存红利，官方也指出真实英文与中文的复现率差异显著。Python 绑定包裹同一 Rust 实现，但官方明确本次测量不含其额外调用开销。1.0.0 前仍需统一训练与推理编码实现、可选偏移量与掩码，以及更多模型家族迁移，当前结论限于已完成的候选范围。
中国开发者行动
仅需编码时可用 cargo add tokenizers --pre --no-default-features --features http 关闭训练依赖以减小体积；批量场景应调用 encode_batch 以利用多核扩展；编码结果应先与 v0.23 做 ID 一致性比对，再评估延迟与吞吐。生产服务不宜直接全量升级，建议先在代表自身语种与模型分布的语料上复跑 tokbench，确认收益后再灰度。