提升机器人3D操作能力，北京大学与智元机器人联合实验室发布OmniMani

提升机器人 3D 操作能力，北京大学与智元机器人联合实验室发布 OmniManip

如何将视觉语⾔基础模型（Vision Language Models, VLMs）应⽤于机器⼈以实现通⽤操作是具身智能领域的⼀个核⼼问题，这⼀⽬标的实现受两⼤关键挑战制约：

VLM 缺少精确的 3D 理解能⼒：

通过对⽐学习范式训练、仅以 2D 图像 / ⽂本作为输⼊的 VLM 的天然局限；

⽆法输出低层次动作：

将 VLM 在机器⼈数据上进⾏微调以得到视觉 - 语⾔ - 动作（VLA）模型是⼀种有前景的解决⽅案，但⽬前仍受到数据收集成本和泛化能⼒的限制。

上海智元新创技术有限公司官方今日发文称，北⼤携⼿智元机器⼈团队提出 OmniManip 架构，基于以对象为中⼼的 3D 交互基元，将 VLM 的高层次推理能力转化为机器⼈的低层次高精度动作。

针对⼤模型幻觉问题和真实环境操作的不确定性，OmniManip 引⼊了 VLM 规划和机器⼈执⾏的双闭环系统设计，实现了操作性能突破。目前项⽬主⻚与论⽂已上线，代码与测试平台即将开源。