纽约大学、Hello Robot、Meta的研究人员推出新的机器人框架Robot Utility Models（RUMs），它旨在训练能够在新环境中零样本部署的机器人策略。这些策略能够在没有进一步微调的情况下，直接泛化到新的环境和对象上。总的来说，RUMs通过结合多模态学习和自我批评机制，提高了机器人在新环境中的自主性... 阅读全文

加州大学伯克利分校和Autodesk的研究人员推出新型机器人学习模型ICRT，ICRT的核心目标是通过一种新颖的“在上下文中学习”（in-context learning）方法，让机器人能够在没有额外训练的情况下，通过理解输入的上下文信息来执行新任务。例如，我们有一个机器人，需要它在不同的环境中执行拾取和放置物体的任务... 阅读全文

Meta推出一个名为Sapiens的模型家族，它们是专门为理解人类视觉任务而设计的一系列模型。Sapiens模型经过微调，能够执行四大类与人类相关的基本视觉任务：2D姿态估计、身体部位分割、深度估计和表面法线预测。这些模型原生支持高达1K分辨率的高分辨率推理，并且通过简单地微调预训练模型，就能轻松适应个别任务。 项目主... 阅读全文

普渡大学和阿肯色大学的研究人员推出新型机器人触觉表示学习方法UniT，机器人需要通过触觉来感知和操作物体，就像人类通过手触摸东西一样。UniT就是帮助机器人更好地理解和使用这种触觉信息的一种技术。此外，论文还讨论了UniT在未来可能的研究方向，比如将其扩展到软物体的触觉表示学习，以及开发能够理解物理属性的触觉表示。这些... 阅读全文

由Google DeepMind开发的机器人乒乓球系统，这个系统能够与人类选手进行竞技性的乒乓球比赛。研究人员开发了第一个通过学习达到业余人类水平的机器人乒乓球选手。这个机器人通过模仿人类选手的动作和策略，能够在真实世界中进行快速、准确的乒乓球比赛。例如，一个中级选手与机器人进行比赛，机器人可能会使用一系列中等难度的策... 阅读全文

伦敦帝国理工学院和谷歌 DeepMind的研究人员推出新框架Diffusion Augmented Agents（简称DAAG），它结合了大语言模型、视觉语言模型和扩散模型，以提高强化学习中具身代理（embodied agents）的样本效率和迁移学习能力。简单来说，DAAG是一个帮助机器人或虚拟代理更好地学习和适应新... 阅读全文

石溪大学的研究人员推出新型视觉基础模型Theia，它是专门为机器人学习设计的。Theia的核心特点是能够从多个现成的视觉基础模型（VFMs）中提取和融合知识，以提供更丰富的视觉表示，从而增强机器人在各种视觉任务中的学习能力。例如，你有一个机器人，你希望它能看懂周围的世界，比如识别物体、理解空间关系，甚至根据视觉信息来做... 阅读全文

清华大学研究院、上海交通大学、香港大学、北京大学、上海启智研究院和上海人工智能实验室的研究人员推出Maniwhere，这是一个针对视觉强化学习的通用框架，使训练后的机器人策略能够在多种视觉干扰类型的组合中实现泛化。具体而言，研究团队引入了一种结合空间变换网络（STN）模块的多视图表示学习方法，用于捕获不同视角之间的共享... 阅读全文

斯坦福大学的研究人员推出GET-Zero，它是一种用于机器人控制的模型架构和训练过程，能够实现对新硬件变化的立即适应，而无需重新训练。简单来说，GET-Zero通过一种称为Graph Embodiment Transformer（GET）的变换器模型，利用机器人的物理结构（即其关节和链接的图结构）作为学习到的结构偏差，... 阅读全文

上海启智研究院、 浙江大学、上海交通大学和清华大学的研究人员推出创新系统“Cross Anything System”（简称CAS），它是一个用于四足机器人的导航系统，能够使机器人穿越复杂的3D地形到达目标位置。这个系统由一个高级推理模块和一个低级控制策略组成，它们共同工作，让机器人能够自主地规划路径并适应各种地形。例... 阅读全文

马里兰大学帕克分校、清华大学、加州大学圣地亚哥分校的研究人员推出创新方法Make-An-Agent，它是一个能够生成通用策略网络的系统。简单来说，就是通过观察一个智能体（比如机器人）的行为，这个系统能够自动生成控制这个智能体的策略，就像我们通过一段文本描述就能生成图像一样。这种方法大大简化了机器人控制策略的开发过程，使... 阅读全文

上海人工智能实验室OpenRobotLab、浙江大学、上海交通大学、清华大学、南京大学、香港中文大学和西安电子科技大学的研究人员推出虚拟仿真平台GRUtopia，它是为了推动和评估高级具身智能（Embodied AI）研究而设计的。具身智能，简单来说，就是让机器或机器人能够通过身体与环境互动，完成一些任务，比如导航、社... 阅读全文