SimFoundry 从视频生成无限机器人训练场景

NVIDIA GEAR 联合李飞飞团队和佐治亚理工等机构发布 SimFoundry 系统，输入一段真实世界 RGB 视频即可自动完成场景解析、3D 重建和物理属性赋予，生成可在 IsaacLab 中运行的数字孪生。系统还能在不改变物体功能的前提下自动更换外观、调整布局并推导新任务，批量创造数字表亲，从单段视频扩展出近乎无限的训练数据。研究表明，SimFoundry 的仿真评测与真实世界表现高度一致，平均皮尔逊相关系数达 0.911，远超原有基准 PolaRiS；基于仿真数据训练的策略可零样本部署到真实机器人。引入 Object、Scene、Task 三类数字表亲后，真实任务成功率分别提升 17%、21% 和 40%。详细数据与作者列表见论文 ( arXiv : 2606.28276 )。

💡 为什么值得看单段视频自动重建可交互仿真环境并生成“数字表亲”，7 项任务平均政策成功率提升 17%-40%。