清华、星动纪元开源首个 AIGC 机器人大模型
摘要：
5月7日消息，星动纪元今日在官方公众号上宣布，开源首个AIGC机器人大模型VPP（VideoPredictionPoli... 星动纪元介绍称，VPP利用了大量互联网视频数据进行训练，直接学习人类动作，减轻了对于高质量机器人真机数据的依赖，且可在不同人形机器人本体之间自如切换，这有望大大加速人形机器人的商业化落地。
目前AI大模型领域有两种主流方法，基于自回归的理解模型和基于扩散的生成模型，各自代表作分别为自回归的GPT和生成式的Sora：
- GPT的思路演化到具身智能领域，就是以PI（PhysicalIntelligence）为代表的VLA技术，是从视觉语言理解模型（VLM）微调而来，擅长抽象推理和语义理解。生成式的技术与机器人的碰撞，就诞生了VPP这样的生成式机器人大模型。
然而，人工智能领域存在着著名的莫拉维克悖论（Moravec'sparadox）：高级推理功能反而容易（例如围棋、数学题），下层的感知和执行反而困难（例如各种家务）。VLM更擅长高层级的推理，而AIGC生成式模型更擅长细节处理。VPP基于AIGC视频扩散模型而来，在底层的感知和控制有独特的优势。如图所示，VPP分成两阶段的学习框架，最终实现基于文本指令的视频动作生成。第一阶段利用视频扩散模型学习预测性视觉表征；第二阶段通过VideoFormer和DiT扩散策略进行动作学习。
1、提前预知未来：VPP让机器人行动前做到“心里有数”
以往机器人策略（例如：VLA模型）往往只能根据当前观测进行动作学习，机器人策略需要先理解指令和场景，再执行。VPP能够提前预知未来的场景，让机器人“看着答案”行动，大大增强泛化能力。VPP视频预测结果与机器人实际物理执行结果几乎一致。能被视频生成的，就能被机器人执行。
2、高频预测和执行：VPP让机器人执行速度“更快一步”
AIGC视频扩散模型虽能生成逼真的视频，但往往花费大量推理时间。星动纪元研究团队发现，不需要精确地预测未来的每个像素，通过有效提取视频模型中间层的表征，单步去噪的预测就可以蕴含大量未来信息。这让模型预测时间小于150ms，模型的预测频率约6-10hz，通过actionchunksize=10，模型的控制频率能超过50Hz。如图所示，单步视频扩散模型预测已经蕴含大量未来信息，足够实现高频预测（规划）和执行。3、跨本体学习：VPP让机器人先验知识流通“畅通无阻”
如何利用不同本体的机器人数据是一个巨大的难题。VLA模型只能学习不同维度的低维度action信息，而VPP可以直接学习各种形态机器人的视频数据，不存在维度不同的问题。如果将人类本体也当作一种机器本体，VPP也可以直接学习人类操作数据，降低数据获取成本。同时视频数据也包含比低维度动作更加丰富的信息，提高模型泛化能力。VPP能学习跨本体的丰富视频数据，相比之下，VLA只能学习维度不一致的低维动作信号。
4、基准测试领先：VPP让机器人性能“一骑绝尘”
在CalvinABC-D基准测试中，实现了4.33的任务完成平均长度，已经接近任务的满分5.0。相较于先前技术，VPP实现了41.5%的提升。左图为CalvinABC-D任务的平均长度对比，右图为Real-WorldDexterousHand任务的成功率对比。可以看出，VPP方法在这两项指标中均取得了最佳表现，在仿真环境任务完成平均长度达到4.33，真机测试成功率为67%，显著优于其他方法。
5、真实世界灵巧操作：VPP让机器人灵巧操作“举一反三”
在真实世界的测试中，VPP模型展现出了良好的多任务学习能力和泛化能力。在星动纪元单臂+仿人五指灵巧手灵巧手XHAND平台，VPP能使用一个网络完成100+种复杂灵巧操作任务，例如抓取、放置、堆叠、倒水、工具使用等，在双臂人形机器人平台能完成50+种复杂灵巧操作任务。6、可解释性与调试优化：VPP让机器人“透明可控”
VPP的预测视觉表示在一定程度上是可解释的，开发者在不通过real-world测试情况下，通过预测的视频来提前发现失败的场景和任务，进行针对性的调试和优化。而VLA模型是完全端到端的模型，开发者在调试优化中需要大量真实世界的测试来找到模型漏洞，需要花费大量的时间。附开源链接如下：
- 论文地址：https://arxiv.org/pdf/2412.14803项目地址：https://video-prediction-policy.github.io开源代码：https://github.com/roboterax/video-prediction-policy
