#AI
NVIDIA 把 AI 工厂指标换成「每兆瓦 token 数」
NVIDIA 在圣克拉拉 AI Infra Summit 上集中放出一批 AI 工厂能效数据,口径很明确:衡量 AI 基础设施的尺子正从峰值性能换成**每兆瓦可验证的 agentic token 数**。
NVIDIA 超大规模与高性能计算副总裁 Ian Buck 主讲,并同步公布了 Amazon Annapurna Labs 合作定制高带宽内存 NVHBM、d-Matrix 把 Raptor XPU 接入 NVLink Fusion 等合作。
💡 为什么值得看NVIDIA 公布实测数据,给省电换产能提供可核对口径。
查证
来源档案
NVIDIA Blog…
厂商官方博客,汇总自家与合作伙伴在 AI Infra Summit 上公布的能效与合作数据
一手官方发布,合作方与产品事实可靠;但所有性能倍数、吞吐与能效提升均为 NVIDIA 及其伙伴自行发布的数据,无第三方独立复现,引用时需保留这一属性。
延伸阅读
想知道「同一电表跑更多卡」具体靠什幺实现,以及混合训练/推理负载下功耗如何动态分配,官方这篇里讲了机制和 Lambda 的验证结果。
NVIDIA 引用 SemiAnalysis AgentX 作为 agentic 负载基准,文中解释了它与单请求基准的口径差别,是判断这些倍数可信度的关键。