结论

DualverseAI团队公开预印本《Low-Bit N-Gram Embeddings for Language Models》，提出以低精度量化存储语言模型中的n-gram嵌入表，用码本索引加每向量16位缩放代替16位全精度存储。作者报告称，在从零训练的多个小模型上，4比特表可节省约75%表记忆并保留99%以上加表带来的验证损失改进；在DeepSeek-V4.1-Flash与Qwen3.8-Flash-Next两款大模型上，选定混合精度可节省47%至55%表记忆，困惑度变化小于1.2%，下游任务基本保持。这是作者在受控训练与评测协议上的单次报告结论，尚未经过同行评审，也未经本站独立复现，不应视为普遍、因果或可直接部署的事实。

研究状态与发布时间

该工作以arXiv预印本形式首次公开，版本为v1，共24页。arXiv摘要页记录的提交时间为2026年10月22日17时56分13秒UTC，换算为北京时间为2026年10月23日01时56分13秒，因此归入本次上海日历日10月23日窗口。arXiv当日cs.AI与cs.CL新论文列表明确标注为2026年10月23日星期五的新提交，摘要页与HTML全文页均可确认该时间。论文未标注期刊或会议接收信息，仍按预印本处理。主题为语言模型记忆效率与量化压缩，不涉及商业模型发布、产品功能上线或仓库版本本身，归入研究进展符合收录边界。

研究对象与方法

研究对象是语言模型中的n-gram嵌入表，包括二元与三元表，每位置检索四个向量拼接到词向量上。作者沿用Over-Tokenized Transformer的四表结构，默认每表约262k向量。压缩方法是将每个分量存为b比特码本索引，码本在全表共享，另存每向量一个16位缩放，推理时以索引查码本值乘缩放重构。作者系统比较均匀、标准正态分位数与Lloyd-Max三类码本，以及最大绝对值、均方根与误差拟合三种缩放，并测试二元与三元表使用不同比特的混合精度分配。论文第6节披露，初始发现由rStation自主智能体提出，作者在站外复现并扩展了模型与数据集，实验分析以当日论文内方法为准。

评估条件与数据范围

从零训练部分包括nanochat 26M与50M、GPT-2家族30M、Llama家族31M与322M共五个模型，在ClimbMix上训练，每项实验重复三随机种子。评价方式是先训有表与无表两版，以验证损失差为加表改进，再压缩已训表并计算保留改进百分比与节省表记忆百分比。默认每表262k，部分实验扩至1M。大模型部分固定其余参数，仅压缩DeepSeek-V4.1-Flash的Engram记忆与Qwen3.8-Flash-Next的n-gram表，其中DeepSeek单表即含1960亿参数量级。困惑度在WikiText-2、Penn Treebank与C4 held-out集上测算，下游在HellaSwag、ARC-Challenge与WinoGrande上测算。以上范围均来自当日论文同一套协议，不涉及其他语言或开放长文本生成保证。

作者报告的主要结果

作者称四比特表在五个从零训练模型上节省74%至75%表记忆并保留99%以上改进；三比特省约80%并保留约97%，二比特省86%至87%但仅保留85.9%至91.0%。混合精度中四比特二元加三比特三元保留98.9%至99.4%并省77%至78%，且给二元更多比特通常优于反向分配；缩放选择比码本家族更关键，误差拟合缩放下三类码本均为86.36%至86.52%，而均匀加最大缩放仅58.04%。大模型上DeepSeek用4/5/4比特、Qwen用4/3比特，分别省46.7%与55.0%，三 held-out集困惑度变化小于1.2%，下游平均准确率仅降0.93%与0.27%。压缩后短暂微调可将二比特恢复至92.0%，一比特恢复至65.3%，从头用一比特预训练可达77.0%；将每表扩至1M后用二比特，仅用52%至54%记忆即获122%至126%原改进，微调后达129%至145%。编辑解释是：局部受控领先不等于通用最优，百分比均相对原全精度表与无表基线，不构成跨架构保证。

局限与不确定性

本工作为预印本，未经同行评审，结论限特定小模型规模、ClimbMix训练、三种子平均与两款Flash大模型、特定困惑度与三下游任务，不推广到其他架构、数据分布或生产负载。压缩效果具模型依赖性，均匀三比特下Qwen困惑度仅升0.52%而DeepSeek升5.06%，最优混合分配在两模型上方向相反。一至二比特无微调时损失明显，恢复需要额外微调或重训成本。论文未报告延迟、吞吐、显存峰值与硬件部署成本，节省表记忆不等于端到端加速。初始智能体发现经人工复核扩展，但仍需独立复现；引用前不应将受控相关性写成因果或已获认可的事实。

潜在意义

若后续复现成立，该路线为n-gram记忆这类查表式容量提供了除减表项之外的降本选项，并提示省下的预算可用于扩表以进一步提升效果。对关注DeepSeek与Qwen系开放权重模型部署成本的中国读者，可将其视为待验证的候选优化方向，在复现与评审完成前，重点核对自身模型结构、精度分配与评测集是否匹配，而非直接作为选型或上线依据。