走进虚拟，走向现实，首个城市级具身智能仿真平台“浦源·桃源”发布

7月4日，在WAIC 2024科学前沿主论坛上，上海人工智能实验室（上海 AI 实验室）发布首个城市级具身智能仿真平台浦源·桃源（以下简称“桃源仿真平台”）。

作为大模型与机器人的连接层，桃源仿真平台涵盖89种功能性场景、10万级别高质量可交互数据，构建起“软硬虚实”一体的机器人训练场。

具身自主探索是实现通专融合的有效手段，也是理解物理世界的AGI的必经之路。通过构建具有社会属性的真实交互环境，桃源仿真平台支持通用机器人从底层控制到高级任务执行的全方位研究，有望解决领域内数据匮乏、评测困难的问题，为同时攻关机器人的“大脑”与“小脑”提供强有力的基础设施支持。

开源链接：https://github.com/OpenRobotLab/GRUtopia

| 走进虚拟“桃源”，走向缤纷现实

与大模型不同，具身智能的能力提升需要从交互中自主学习。在真实物理世界中对机器人进行训练，存在着数据采集效率低下、复用性差、训练风险高、评测困难等诸多瓶颈，因而，将在虚拟环境训练成果应用于真实环境的“虚实迁移”（Simulation-to-Real）技术，成为当前具身智能领域的重点研究方向之一。

桃源仿真平台可模拟各种复杂场景和机器人的行为模式，包括但不限于户外作业、社交互动、家庭生活、工业生产、商业交易等，从而为具身智能体提供了具有社会属性的虚拟社会。该平台包含海量高质量可交互场景数据，并可借助AIGC技术生成多样化、难度适中的具身智能任务，建立相应的评测体系，赋能具身智能大模型研发。

贴近现实的具身智能任务

| 数据、工具链、评测三位一体

此外，借鉴人类运动员的训练场景，桃源仿真平台还为具身智能体构建了训练场、陪练员及评分表。

作为训练场的GRScenes场景数据集包含10万级别高质量、可交互场景数据，首次覆盖超市、医院等 89 种功能性场景，提供语言描述、物体类别、部件、材质等全方位标注。

在视觉真实性和物理真实性的打造过程中，研究团队与专业场景设计师团队合作，实现场景布局、物体纹理等方面的真实，最大限度使虚拟场景与现实环境接轨。

同时，GRScenes中的物体具备真实的部件设计、物理属性及内部建模，并基于Isaac Sim算法进行物理仿真，为具身智能训练提供了真实的场景交互反馈。通过人工标注和多模态大模型的应用，场景中的所有区域、物体具有类别、材质等标注，为具身智能训练提供了可参考的物理场景指标。

多种功能类型场景

GRResidents角色交互系统相当于陪练员，由LLM驱动智能虚拟角色进行具身任务生成与分发，为平台提供交互社交属性。

构建“以人为中心”的通用机器人系统对具身智能研究尤为重要。在真实应用中，机器人通常需要与用户进行多轮交互，以明确指令目标，提升执行效率。由大模型智能体框架构成的GRResidents，利用多模态大模型和系统API，从场景中提取物体描述、空间关系和区域描述等高层语义信息，并通过全局信息管理器（World Knowledge Manger）将这些信息组织成智能体可调用的环境感知 API。

由大模型驱动的NPC（非玩家角色）相当于仿真平台中的“居民”，他们可依据对话及环境感知 API 进行信息提取和推理，从而进行开放形式对话。在此基础之上，这些 NPC 能够通过采样将场景信息进行智能组合，进而生成多种形式的具身任务，供具身智能体训练。

大模型驱动的NPC系统

GRResidents: 智能虚拟角色系统

评分表由GRBench评测体系完成，支持对多类机器人及任意任务进行客观评测。

目前，桃源仿真平台支持多种类型机器人的训练评测，包括对机械臂、轮式机器人、四足机器人、人形机器人的运动控制算法及训练。

用户通过即插即用式 API 调用，即可在任意任务中模拟真实的控制过程，并还原规划过程中的各类场景。未来，桃源仿真平台还将通过持续迭代，拓展对更多类型具身智能体的支持。

桃源仿真平台支持各类型机器人及任务评测，并提供控制算法及生态工具链

基于桃源仿真平台，上海AI实验室为具身智能研究构建起生态工具链，为打通各平台壁垒，充分利用各类具身智能控制开源算法，提供了首个跨平台控制算法的迁移工具包。使用工具包，用户可一键将Isaac Gym、Isaac Lab等具身智能开源社区的控制算法迁移至桃源仿真平台。在人机交互方面，研究团队还打造了支持多模态交互与机器人控制的全新交互界面，便于研究者进行算法演示和调试，进一步提升研究效率。