Google DeepMind推出新型多塔解码器架构Zipper，它能够将多个在不同模态上独立预训练的生成模型融合在一起，创造出比单独模型更强大的多模态生成能力。简单来说，Zipper就像一个多才多艺的艺术家，能够把不同的艺术形式（比如语言、声音和图像）融合在一起，创作出新的艺术作品。论文还提到了Zipper的一些限制... 阅读全文

Google DeepMind推出一种新的强化学习方法DRO（Direct Reward Optimisation，直接奖励优化），用于大语言模型（LLM）的对齐。这种方法旨在改善大型语言模型的行为，使其更好地符合人类的偏好。这很重要，因为一个好的语言模型不仅需要智能，还需要能够生成对用户有帮助且安全的内容。 主要功能... 阅读全文

加州大学洛杉矶分校、亚马逊和犹他大学的研究人员推出Atlas3D，它能够根据文本描述自动生成三维模型，并且这些模型在物理世界中能够自我支撑，保持稳定。例如你告诉电脑“我需要一个站立的玩具士兵模型”，Atlas3D就能够设计出这个模型，并确保它在真实世界中能够稳稳地站立，不需要额外的支撑。 项目主页：https://yu... 阅读全文

索尼推出新型文本到声音生成模型SoundCTM（Sound Consistency Trajectory Models），SoundCTM旨在为多媒体作品（如视频游戏、音乐和电影）创造声音内容，这些声音内容包括音效和Foley声音（指在后期制作中添加的声音效果，如脚步声、玻璃破碎声等）。例如，你正在制作一个视频游戏，需... 阅读全文

德国慕尼黑工业大学的研究人员推出NPGA（Neural Parametric Gaussian Avatars，神经参数高斯头像）的技术，它是一种用于创建高保真度、可控的3D虚拟头像的方法。这些头像能够从多视角视频录像中生成，并且具有精细的表情控制能力。例如，你是一名电影制片人，需要为即将上映的科幻电影制作一个外星生物... 阅读全文

谷歌发布论，探讨了大语言模型（LLMs）在发展高级心理理论（Theory of Mind，ToM）方面的能力。心理理论是一种人类能力，它允许我们推理和理解自己和他人的多重心理和情感状态，并且能够递归地进行推理（例如，我认为你相信她知道）。例如，你正在开发一个虚拟助手，它需要理解用户的情感状态以提供更好的支持。如果这个虚... 阅读全文

宾夕法尼亚大学、苹果和香港大学的研究人员推出新框架GECO（Generative Image-to-3D within a SECOnd），它能够在大约0.35秒内，使用单个图像作为输入，在单个L40 GPU上生成高质量的3D模型。GECO的目标是简化3D资产的生成过程，使其更加高效和易于访问，同时保持生成结果的高质量... 阅读全文

加州大学圣地亚哥分校和Adob​​e 研究部的研究人员推出DITTO-2，它是用于音乐生成的人工智能技术。DITTO-2的核心目标是加速可控音乐生成过程，使其能够实时或更快地生成音乐，同时提高音乐质量和控制精度。例如，你是一位电影制片人，需要为电影中的特定场景定制一段背景音乐。使用DITTO-2，你可以指定音乐的风格、... 阅读全文

蚂蚁集团推出新型检索增强型文本生成框架METRAG（Multi-layered Thoughts enhanced Retrieval-Augmented Generation），这个框架旨在解决现有大语言模型（LLMs）在知识密集型任务中遇到的一些问题，比如知识更新的不及时、成本问题以及生成幻觉（即生成与事实不符的内... 阅读全文

浙江大学的研究人员推出新型框架PLA4D（Pixel-Level Alignments for Text-to-4D Gaussian Splatting），它用于将文本描述转换成4D内容，即动态的三维对象。这项技术的核心在于它能够理解和生成具有时间维度的3D对象，这在游戏制作、自动驾驶和其他许多应用领域具有巨大的潜力... 阅读全文

中国科学院自动化研究所、清华大学和微软亚洲研究院的研究人员推出综合性大语言模型（LLMs）对齐方法套件Xwin-LM，Xwin-LM的目标是确保这些强大的语言模型能够与人类的期望和价值观保持一致，尤其是当它们被集成到各种应用程序中并被广泛使用时。Xwin-LM是一个为大语言模型提供对齐方法的套件，它通过一系列技术手段提... 阅读全文

蚂蚁集团、南京大学和上海交通大学的研究人员推出AI视频检测工具DeMamba以及一个大规模的AI生成视频数据集GenVideo。这个工具和数据集的主要目的是帮助区分真实视频和由AI生成的假视频，以应对假信息传播的问题。DeMamba和GenVideo数据集的推出，旨在提高AI生成视频检测技术的准确性和鲁棒性，以应对日益... 阅读全文