腾讯开源混元 Hy4 Preview

腾讯 8 月 28 日发布并开源混元 **Hy4 Preview**，总参数 **770B**、单 token 激活 **49B**，原生上下文窗口 1M（1,048,576 tokens）。总参数达 770B、单 token 激活 49B，原生上下文窗口 1M（1,048,576 tokens）。

激活率 6.4%（49B/770B）是理解这套模型的入口：参数总量决定显存与加载成本，激活量决定每 token 实际计算量，两者被拉开 15 倍以上。落地的算力账来自门控稀疏注意力（DSA）加 **IndexCache** 跨层索引复用，78 层里只有约 21 层独立做索引检索，其余复用相邻层结果，砍掉近四分之三索引扫描计算。

💡 为什么值得看770B 参数只激活 49B，1M 上下文靠稀疏注意力落地，Apache 2.0 商用无门槛，直接对标 GLM、Kimi。