SSD 当显存：Colibrì 让 25GB 笔记本跑 744B GLM

开源项目 Colibrì 在 GitHub 获约 32k Star,以纯 C 实现分层推理，把 MoE 专家权重放进 NVMe SSD 按需读取；作者用 12 核 CPU、25GB RAM 的无 GPU 开发机验证。

**它利用 MoE 激活稀疏性**:GLM-5.2 总参数 744B,每 token 只激活约 40B,常驻内存的 Dense 部分 int4 后约 9.9GB,19456 个路由专家在 SSD、RAM、VRAM 间调度。代价是速度：冷缓存开发机 0.05~0.1 token/s,128GB RAM 桌面机约 1.8 token/s,6 张 RTX 5090 为 5.8~6.8 token/s。

💡 为什么值得看MoE 分层调度绕开显存门槛，无 GPU 也能跑前沿大模型，本地推理成本或改写。