美光研发近 GPU NAND 支撑大模型

美光正在研究一种「近 GPU NAND」，把高耐久性闪存直接放到 GPU 封装或 PCB 上，插在 HBM 显存与远端 SSD 之间。消息源自 DigiTimes 报道，目前处于探索阶段，美光官方尚未确认。

思路是用更低存储密度换取 I/O 速度、带宽和耐久性，让 GPU 不经主机就能直接访问数百 GB 的本地闪存池。对推理这种读密集型负载，若模型权重或 KV 缓存能落在这层闪存上，同样的模型有望跑在更少的 GPU 上，摆脱显存容量对 LLM 规模的限制。

💡 为什么值得看近 GPU NAND 层可降本解显存瓶颈，惠及大模型推理。