来自康奈尔大学的研究人员推出一个名为MOSAIC的系统，它是一个模块化的架构，旨在帮助家庭机器人与人类用户合作完成复杂的烹饪任务。MOSAIC通过自然语言与人类用户互动，协调多台机器人，并管理日常物品的开放词汇表。这个系统的核心是模块化，它利用了多个大规模预训练模型来处理通用任务，如语言和图像识别，同时使用简化的模块来执行特定任务的控制。MOSAIC是一个先进的机器人系统，它通过模块化设计和自然语言处理，使得机器人能够在家庭环境中与人类用户紧密合作，共同完成烹饪等复杂任务。
项目主页：https://portal-cornell.github.io/MOSAIC
论文地址：https://arxiv.org/abs/2310.13258
主要功能：
- 与人类用户通过自然语言进行互动。
- 协调多台机器人执行烹饪任务。
- 管理日常物品的开放词汇表。
主要特点：
- 模块化设计：通过将通用任务处理与特定任务控制分离，提高了系统的整体性能。
- 交互式任务规划：使用大型语言模型（LLMs）进行任务规划，以处理复杂的推理过程。
- 视觉运动技能：利用预训练的视觉-语言模型（VLMs）进行物体识别，并结合强化学习（RL）策略进行动作选择。
- 人类运动预测：开发了一种方法来预测人类运动，使机器人能够在与人类的密切协作中安全地规划动作。
工作原理：
- 交互式任务规划器：通过自然语言与用户沟通，确定要烹饪的食谱，并分配子任务给机器人和用户。
- 视觉运动技能模块：结合视觉-语言模型和强化学习策略，执行如抓取、放置等动作。
- 人类运动预测：利用大规模人类运动数据训练模型，预测用户的动作，以便机器人能够安全地协作。
应用场景：
- 家庭厨房：MOSAIC可以在家庭厨房环境中协助用户准备餐点，如切菜、搅拌和烹饪。
- 辅助烹饪：对于行动不便或需要帮助的人来说，MOSAIC可以作为一个辅助工具，提供烹饪过程中的支持。
- 教育和培训：MOSAIC可以用于教育环境，教授烹饪技巧，同时提供一个互动的学习平台。
0条评论