DiffusionGemma 并行扩散生成 1500 tokens/s

Google DeepMind 团队在 arXiv 发布 DiffusionGemma 技术报告，提出一种**离散扩散(discrete diffusion**)驱动的开源权重语言模型。它不再逐 token 顺序解码，而是**并行迭代细化 256 个 token 块**,绕开传统自回归(AR)模型的速度瓶颈。

它在单张 NVIDIA H100 上跑出约 1500 output tokens/s,平均每次前向约 20 tokens,报告称这已显着快于采用最新投机解码的 AR 模型。模型由 Gemma 4（MoE,3.8B 激活/25.2B 总参数）微调而来，两阶段训练只用了起始 AR 模型不到 10% 的训练 token 预算，并保留了 thinking mode、多模态输入与长上下文支持。

💡 为什么值得看扩散模型并行推演，单卡 H100 速度达 AR 数倍。