野心满满的Genesis：要让你用一句话为机器人生成一整个世界

声明:本文来自于微信公众号硅星GenAI，作者:周一笑，授权站长之家转载发布。

来自卡内基梅隆大学、斯坦福大学、麻省理工计算机科学与人工智能实验室、英伟达和清华大学的众多核心贡献者推出了一个全新的物理仿真平台Genesis，专为通用机器人、具身人工智能和物理AI应用而设计。

Genesis项目已经开发了2年，结合了生成式AI的创造力和真实世界物理的准确性。能够创建虚拟环境并进行训练帮助机器理解物理世界、更好的与物理世界互动，这种方式不仅逼真，而且速度和效率都很高。

Genesis同时具备多种功能:

- 通用物理引擎:一个从零开始重新构建的通用物理引擎，能够模拟广泛的材料和物理现象。

- 机器人仿真平台:一个轻量级、超快、符合 Python化且用户友好的机器人仿真平台。

据项目贡献者CMU机器人研究所博士生Zhou Xian表示，Genesis的物理引擎完全采用纯Python开发，其速度却比广泛用于机器人模拟和强化学习研究的框架如Isaac Gym和MJX快10到80倍，且完全没有牺牲精确度。仅需26秒便可在一块RTX4090上训练出可迁移至现实世界的机器人运动策略。

使用单个RTX4090，Genesis能在不到2毫秒的时间内同时为10000台像高级Franka臂这样的机器人手臂求解IK。这种速度和效率是前所未有的，为大规模机器人模拟、工业自动化和复杂研究项目开创了新的可能性。

- 照片级真实感渲染系统:一个强大且快速的逼真渲染系统。

- 生成式数据引擎:能将用户提示的自然语言描述转化为多种形式的数据。

其核心在于，Genesis将多种先进的物理求解器整合进一个统一框架，提供了无与伦比的仿真能力。这一强大的基础，辅以生成式代理框架，旨在自动化数据生成，推动机器人研究及更广泛领域的边界。

#01

Genesis的主要特点

-统一物理模拟:基于通用物理引擎，Genesis集成了尖端的求解器，以卓越的精度和保真度模拟广泛的物理场景。

-生成式框架:生成式代理框架作为一个模块化系统运行，集成了多种生成模块以处理不同的数据形态。这些模块由一个高级代理进行路由，无缝整合现有研究和持续进展。

Genesis项目引入了一个生成式代理，能够完全自主地处理教导机器人在真实环境中运行的每个步骤。首先，它自主设计模拟真实世界空间的虚拟环境，如厨房、客厅和其他日常环境。然后，它为机器人提出要执行的任务，比如打开微波炉、拾取物品或在家具间导航。

-开源可访问性:物理引擎和仿真平台已开源，研究人员和开发者能够自由探索、实验并创新。生成功能将逐步推出，以扩大访问范围。

-照片级真实感渲染:Genesis将超快渲染能力与视觉震撼效果相结合，使模拟更加沉浸式且逼真。

Genesis还支持角色动作生成，比如能做出一个会杂技动作的小悟空，还能生成各种机器人控制策略，例如整理书本的机械臂、能同步翻转的无人机等等。

目前，Genesis团队正在开源底层物理引擎和仿真平台，官方称生成框架的访问权限将在不久的将来逐步推出。

不过，也有网友表示:用一个完全不存在的generate函数来演示有画大饼的嫌疑。“就算这部分内容不开源，也希望作者团队能出一个实机演示视频。”

#02

又一个世界模拟器?更多是解决具身智能的数据瓶颈

Genesis团队的目标是构建一个通用数据引擎，利用上层生成框架自主创建物理世界，并伴随多种数据模式，包括环境、摄像机运动、机器人任务提案、奖励函数、机器人策略、角色动作、完全交互的3D 场景、开放世界的关节资产等，旨在实现机器人、物理 AI 及其他应用的完全自动化数据生成。

显然，它并不是一个世界模拟器/Sora。Genesis是物理引擎和生成式AI的混合体，主要的作用是为通用机器人学习的提供了一个统一的模拟平台，通过降低物理模拟的门槛，虚拟再现现实世界，从而减少人类在数据生成中的投入，实现机器人及相关领域中自动化和自给自足的数据生态系统。

机器人的数据收集一直是一个棘手的问题，一种方法是通过手动操作机器人来采集数据，因为是在真实物理世界中与机器人互动，可以确切知道机器人的位置、如何与世界互动，以及任务是如何成功或失败的。然而现实世界的数据采集成本高、效率低、难以扩展，并且存在各种局限性 （数据模态不完整、难以收集闭环数据等）。Genesis的解决方式是利用物理模拟和生成式AI技术，自主生成大量多样化的训练数据，无需依赖昂贵的真机数据采集，从而降低数据获取的门槛。

此外，许多仿真环境在物理特性和渲染效果方面与现实世界存在差距，导致训练出的机器人难以在现实世界中应用，形成“Sim2Real Gap”。Genesis的解决方式是提供一个能够模拟各种材料和物理现象的通用物理引擎，并采用真实感渲染系统，尽可能使仿真环境逼近真实世界，支持基于物理原理的触觉传感器模拟。类似英伟达的Isaac Sim或Isaac Gym等项目通过仿真技术，加速了机器人领域的发展。

从展示的demo来看，Genesis支持自然语言描述生成相应的场景，利用生成式AI技术生成传感器数据和策略，渲染物理属性的仿真也做得很到位，这对于解决具身数据稀缺，具有非常重要的意义。

关于机器人行业的仿真问题，地瓜机器人云平台副总裁秦玉森向硅星人表达了他的看法:

以阿波罗登月计划为例，即便我们拥有当年的所有数据资产，在今天也难以完全复刻这一壮举。这不仅仅是因为许多原始电子元器件已经停产，更重要的是，仅仅依靠更强大的算力和更多的数据并不能解决根本问题。虽然现代智能手机的运算能力已经远超当年的超级计算机，但在载人登月这样的复杂工程面前，我们依然面临重重挑战。

“因为化简为繁易，化繁为简难，缺少能在数学和工程上优雅的做到化简，仿真只是徒增计算量。” “仿真仿的足够真，是需要算力和各种资源的，对于机器人来说，那为何不直接在现实世界中不断搭建呢?”

因此，他认为Genesis作为引擎的价值在于可以让仿真的工程在“工程架构”相对优雅，化繁为简的把调用引擎需要理解的各种物理属性，变为能通过自然语言进行引擎搭建。

他表示，Genesis的本质是证明了某条路可行，但距离真正的创造实际价值，还需要很多下游的产业人员配合。

“比如当年英伟达Issac SIM应该是2018年发布的，至今6年了，业界有人使用，但是还是在易用度上有些许问题。”

Genesis的团队的Chuang Gan则在X上表示，“我认识到许多机器人学家对此方法持怀疑态度，指出设置模拟器和解决模拟与现实差距的困难。他们主张仅专注于从现实世界数据中学习。我理解这些担忧，但我坚信我们不能仅仅因为创建一个好的物理模拟器具有挑战性就绕过物理模拟器!”他说，“请加入Genesis社区!我们希望说服机器人界‘Generative Physics Simulator is all You Need!’”

Genesis或许还并不能做到“创世记”，但AI离真实的物理世界的确是越来越近了。