结论：NVIDIA作者Simeng Sun与Roger Waleffe于上海时间2026年8月31日通过arXiv首次公开预印本CE-MoE，核心结论是：通过将路由MoE层数LE大幅削减并以Mamba-2等线性循环token-mixing与稠密FFN重配深度，可在保持总参数与激活参数近似匹配的前提下，将专家并行all-to-all通信调用降低约65.2%，在2B至31.5B扩大梯子上实现30.5%–35.0%的稳态GPU时数节省且验证损失与下游质量持平，31.5B上少33.3%时数并微幅提升均分与推理吞吐。该结论来自作者在H100集群上的受控对比，尚未经同行评审或独立验证，不应视为已获学界共识或适用于所有硬件与精度的普遍保证。

研究对象与方法

研究针对混合专家（MoE）大模型在专家并行训练中，路由分发与合并的all-to-all集体通信占据显著训练时间的问题。作者建立通信体积模型Vstep∝LE·S·GBS·K(4D bx+2bp)，指出除精度、潜在维度与路由宽度外，降低MoE深度LE是直接削减总搬运量的正交路径。CE-MoE因此采用异构布局：以目标token-mixing与MoE比α≈4确定组成，例如对Nemotron-3 Nano基线(23 Mamba,23 MoE,6 Attention, L=52)重配为(30 Mamba,8 MoE,6 Attention,8 Dense)，配合分阶段贪心算法将注意力与通道混合块均匀分布于Mamba脊柱上，避免连续通道混合与注意力过密等不良排序，并将每MoE专家宽度与专家数放大（192/7 vs 128/6）以补偿容量，同时保持c=c⋆控制长上下文注意力成本。

评估条件与数据范围

评估覆盖五档规模：2B-A0.5B/140B、4B-A0.77B/215B、7B-A1B/310B、14B-A2B/560B、31.5B-A3.5B/300B（另有1T长程），均为混合Mamba-2架构，序列8192、全局批量768（后扩至960）、BF16、H100 HBM3 + 4代NVLink、Adam(0.9,0.95)权重衰减0.1、WSD调度、sigmoid路由加序列级辅损1e-4与共享专家。质量指标为验证损失与11项下游：MMLU/MMLU-Pro、HumanEval/MBPP、GSM8K/MATH-500/MATH-Hard、RACE/HellaSwag/WinoGrande/ARC-Challenge；训练成本以剔除预热与离群后的稳态GPU时数计；推理为Megatron Server单节点合成静态中位吞吐。

主要发现（作者报告，未独立验证）

作者报告的主要发现在受控条件下成立，均为相关性、局部基准结果，未经独立复现。

  • 通信削减可量化：以LEK为代理，CE-MoE较基线LEK降低59.4%（138→56），理论all-to-all调用从23q经Switch式12q降至8q，Switch降47.8%、CE-MoE降65.2%，同K同D下体积降47.8%。 秩稳定性分化：约370M、7层连续token-mixing小模型上，注意力栈在1e-3与3e-4学习率下均出现范数暴涨与秩接近1的坍缩，而Mamba-2保持较高稳定秩与有效秩，支持选取线性循环为主干。 扩大梯子一致节省：同GBS下五档GPU时数分别降低35.0%、33.0%、30.5%、34.1%、33.3%，验证损失差异为-0.0018至+0.0023，表明异构布局本身具建模增益而非仅参数匹配。 同token或更多token下的质量保持：14B同560B token时均分56.93→58.41；加至700B token时均分59.36仍少26.1%时数；31.5B同300B时58.37→58.65，CE-LatentMoE在375B时62.36较LatentMoE 60.77且少20.9%时数；1T→1.25T时66.26→66.67少21.0%时数。 推理与残差轨迹：31.5B在ISL 2048/8192、OSL 128–2048下吞吐提升28%–36%；残差余弦与有效秩呈阶梯波动，专家层前后上升，未造成不可逆多样性损失。
作者强调：节省来自降低需要跨rank搬运的数据总量，与DeepEP、Megatron-Core等系统级优化正交可叠加；连续token-mixing可行性的关键在于保持健康秩的mixer选择。

局限与同行评审状态

该工作为arXiv:2608.28511v1预印本，于Fri 28 Aug 2026 16:44 UTC提交，按arXiv 14:00 UTC截点于Mon 31 Aug 2026 00:00 UTC（上海8时）公告并归入cs.AI当日列表并视为首次公开，尚未经期刊或会议同行评审。关键限制见limitations，局部基准与模拟结果不得写作普遍因果或已获同行认可的事实。

  • 仅在混合Mamba-2族与H100特定栈上验证，未覆盖纯注意力、其他规模或FP8/NVFP4等精度与更大world size。 稳态GPU时数为乐观架构级估计，非计费时数；CE-MoE负载不均衡更明显，需GBS与专家数协同扩展。 推理为合成静态未优化代理，非生产serving；下游限11项英文基准与固定token预算，未含多语言与安全评估。 形状搜索依赖±1%总参/±1.5%激活的匹配准则与最小LEK选取，数据偏置与随机性未充分量化。

潜在意义与适用边界

若后续在更广架构、精度、并行规模与独立复现中得到支持，CE-MoE为MoE训练提供了一条可操作的架构级降本路径：以异构深度重配换取通信量与路由开销的系统性下降，并在节省的预算内选择更低成本或更多token的训练策略，同时获得推理吞吐的附带收益。适用性取决于token-mixing算子对连续堆叠的稳定性、负载均衡与路由正则，以及与潜在投影等正交互补技术的组合，落地前仍需在真实集群计费、长程训练与生产推理栈中进一步校验。