结论

斯坦福大学与Radical Numerics团队在北京时间2026年10月20日公开预印本Halcyon，系统论证强文生图可以不依赖互联网规模纯文本语言预训练。论文提出早融合多模态自回归模型家族，直接在约1亿图文对GPIC上从零训练分词器与生成模型。作者报告，Halcyon-0.52B以48.0 gFD超过LlamaGen-XL/8的63.3 gFD，总预训练算力减少约18.2倍；Halcyon-1.6B以35.3 gFD超过JiT-T2I-XXL/8++的41.0 gFD，总算力减少约275倍。该结论为作者在受控评测中的单次报告，论文为v1预印本，未经同行评审，需独立复现，不能视为普遍或因果事实。arXiv记录v1提交为2026年10月19日17时59分59秒UTC，对应北京时间10月20日1时59分59秒，落入当日窗口。

研究对象与方法

Halcyon为解码器 Transformer早融合模型，将文本与图像视为单一序列做下一词预测，所有部件均从零训练。图像分词器沿用Cosmos类编码解码加有限标量量化，空间下采样8倍，码本6.4万，每个256×256图像展平为1024个图像词元。文本为字节级BPE，词表16384，在GPIC标题与OpenWebText上训练。联合词表80640，含16384文本词元、64000图像词元与256特殊词元，共享嵌入与输出头。训练使用四种序列格式：纯文本、纯图像、图文到文与文到图，文到图以10%标题丢弃训练无条件分支，推理采用分类器无关引导。损失为加权下一词交叉熵，图像权重0.5。团队在固定预算下对比五种数据配比与调度：纯文到图基线、语言先行、图文互文先行、文到图加图文互文混合、无丢弃混合，并在0.1B、0.25B、0.52B、1.6B与4B五个尺寸验证，序列长1280。

数据范围与评估条件

预训练与评测均限定在GPIC数据集，约1亿图文对，256×256分辨率，GPIC上训练一轮，全局批量1024，采用预热稳定衰减学习率。分词器在GPIC Test-50K上做重建对比，文本压缩在GPIC测试标题上对比。生成质量以生成弗雷歇距离gFD衡量，对数尺度展示，数值越低越好。基线为在GPIC上复训的晚融合代表：LlamaGen系列配FLAN-T5编码器，JiT-T2I系列配Qwen3-1.7B，以及由Qwen3-0.6B继续预训练的自回归对照。总预训练算力口径包含语言模型、图像分词器与图像生成器三部分，作者指出代表性系统中语言预训练常占80%以上，但常被排除在成本统计之外。

主要结果

在上述口径下，Halcyon随规模扩大gFD持续下降。0.52B取得48.0 gFD，基线LlamaGen-XL/8为63.3 gFD；1.6B取得35.3 gFD，基线JiT-T2I-XXL/8++为41.0 gFD。作者称前者总算力减少约18.2倍，后者减少约275倍。数据调度实验显示，在固定预算下加入超Chinchilla最优量的纯文本先行训练并未提升文生图质量，外部纯文本预训练无增益。将标题丢弃替换为等量图文互文监督后，模型在保持有竞争力的文生图质量下同时学会图像描述，作者认为无条件图像分支可由图文互文前缀等效训练。分词器方面，自研图像分词器在GPIC Test-50K上全面优于Cosmos-DI-8x8，自研文本分词器以9.3倍更小词表 đạt与Qwen3相当的标题压缩，约4.774字节每词元。以上均为论文内受控对比结果。

限制与评审状态

该工作为arXiv v1预印本，尚未经过同行评审，所有领先性表述均为作者自述，未经独立验证。评估限于GPIC单一数据集、256分辨率与gFD等自动指标，未覆盖更高分辨率、跨数据集迁移与大规模人类偏好。作者自述图像分词器对小字与精细字形重建仍偏弱。Halcyon的语言监督仅来自配对标题，比基线语言预训练少两个数量级以上，其通用语言能力、指令跟随与长期扩展性未经检验。论文称代码与模型在项目页开放，但本文未将未核验的项目页作为证据，也不对其可用性做承诺。局部基准结果不得扩写为行业普遍结论。

潜在意义

编辑解释：若后续复现成立，该工作提示文生图系统的文本条件可直接从图文对中学到，不必先做互联网规模纯文本预训练，有助于更诚实地核算包含语言部分的真实总算力，并为从零训练的早融合路线提供可复用配方。但在同行评审与跨数据集、跨分辨率、人类偏好验证完成前，不宜将其视为对语言预训练的否定，也不宜直接指导选型或采购。读者可将其理解为一次有明确边界的成本与方法提示，而非已确立的通用事实。

时效与来源说明

本文关键事实仅来自arXiv当日论文页，未为补充背景抓取往日页面。arXiv摘要页明确给出标题、作者、摘要结论、学科分类与带时区的提交历史，可换算为北京时间当日。同一工作暂无满足当日门槛的独立交叉来源，因此正文严格区分作者结论与编辑解释，并标注未经独立验证。媒体决策为not_applicable，本文类型无媒体字段，未臆造图表与图片。