前 OpenAI 员工预测千亿训练数据支出

前 OpenAI 研究员 Andrew Ho 离职，认定当前大语言模型泛化能力很差，即使在高投入的编程领域也表现不稳定。根本原因在于训练数据匮乏，多数有价值技能在现有数据集中极少出现。他预测 AI 实验室需投入超过 1000 亿美元用于定向数据采集，单纯扩展模型不足以维持前沿性能。

Ho 质疑 OpenAI 等前沿实验室的超高估值，指出这些公司持续亏损，需不停砸钱训练新模型才能跑赢低成本对手。剑桥研究员 Adam Hunt 持类似看法：最新模型在编程、复杂数学上有精进，但语言质量、简单逻辑等基础能力停滞甚至倒退，强化学习仅在清晰奖励信号和完整训练数据领域有效。

💡 为什么值得看训练数据取代模型规模成为瓶颈，前研究员的创业选择是行业转向的信号。