AgentHands 让 AI 助手在 XR 里用手势指物

Google 在 CHI 2026 发表了 AgentHands 研究原型，把大模型的语音输出接上**同步手势**：LLM 生成回复时内嵌 GestureEvent，XR 头显上的本地解析器用词级时间戳驱动动画，让手势与语音逐词对齐。手势遵循一套多维度分类法——单手/双手、空中/锚定物体、加上动效（如热量警告的红光）。

一篇 12 人组内对照研究（N=12）对比了 AgentHands 与纯语音基线：空间定位、复杂动作理解与安全警示效果均显着提升（p < 0.05），参与者用「拍档在引导我」描述交互。演示场景包括兰花根部指认、3D 打印机旋钮操作，以及健康伴侣的警告手势。研究由 Ziyi Liu 在 Google 实习期间主导，面向 Android XR 生态。

💡 为什么值得看LLM 输出接同步手势，AI 助手走向具身交互。