浙江大学和 香港大学的研究人员推出OmniBind，这是一种大规模的多模态联合表示模型，能够处理包括3D、音频、图像和语言输入在内的多种数据类型。简单来说，OmniBind就像一个多语言的超级翻译器，但它不仅仅是翻译语言，它还能理解和转换不同类型的数据，比如将文字描述转换成3D模型，或者根据声音找到对应的图像。例如，你... 阅读全文

LG电子和首尔国立大学的研究人员推出Click-Gaussian，这是一种用于实时3D场景操作的交互式分割方法。简单来说，Click-Gaussian能够让用户通过单次点击就能在三维空间中选择和分割出他们想要的对象，无论是粗略的大致形状还是精细的细节。例如，你是一名游戏设计师，需要在虚拟现实环境中快速修改场景中的多个物... 阅读全文

谷歌推出YouTube-SL-25，这是一个大规模、开放式的多语种手语平行语料库。简单来说，它包含了超过25种不同手语的视频，这些视频从YouTube上收集而来，并且配有相应的字幕。这个项目的目标是改善手语与文本之间的翻译，让机器更好地理解和生成手语。例如，一个听障人士想在视频会议上与他人交流，但不熟悉对方的手语，Yo... 阅读全文

卡内基梅隆大学、Meta和苏黎世联邦理工学院的研究人员推出Omnigrasp，它可以让虚拟的仿人机器人（humanoids）能够抓住各种不同的物体，并让这些物体沿着复杂的轨迹移动。想象一下，就像是一个电子游戏里的角色，不仅能拿起一个苹果，还能让它沿着一个曲线抛向空中，然后再接住它。 项目主页：https://www.z... 阅读全文

韩国科学技术研究院人工智能研究生院推出3D编辑技术DreamCatalyst，它将基于SDS（分数蒸馏采样）的编辑解释为扩散模型的逆过程。我们的目标函数考虑了采样动力学，从而使DreamCatalyst的优化过程成为了编辑任务中扩散逆过程的一种近似。DreamCatalyst旨在缩短训练时间并提高编辑质量。DreamC... 阅读全文

德克萨斯大学奥斯汀分校、萨里大学、牛津大学、加州理工学院和Meta AI的研究人员推出“权重低秩投影”（Weight Low-Rank Projection，简称WeLore），它以一种与数据无关且一次性的方式，统一了权重压缩和内存高效微调。WeLore利用奇异值的重尾分布来识别适合LLMs中矩阵的秩减比例。除了作为压... 阅读全文

中国科学院自动化研究所和阿里巴巴集团达摩院的研究人员推出一种让3D模型动起来的技术Animate3D，它可以通过一种特殊的方法，让静态的3D模型变得生动活泼，就像赋予了它们生命一样。例如，你是一名游戏开发者，需要在游戏中创建一个会动的卡通角色。你可以先用3D建模软件设计这个角色的静态模型，然后使用Animate3D让这... 阅读全文

百川公司 和天津大学智能与计算学院的研究人员推出智能助手Sibyl，Sibyl是一个基于大语言模型（LLM）的智能代理框架，旨在通过有效利用一组最小化的工具来解决复杂的现实世界问题。例如，你是一名研究人员，需要解决一个涉及多个学科的复杂问题。你可以向Sibyl提出问题，Sibyl会通过其工具规划器选择合适的工具（比如网... 阅读全文

昆仑推出新型图像生成模型DiT-MoE，这个模型的全称是“Diffusion Transformers with Mixture of Experts”。简单来说，它是一种能够生成高质量图像的人工智能系统。它通过模拟一个逐步去噪和降噪的过程，将随机噪声转化为目标数据分布，从而生成图像。例如，你有一个超级聪明的机器人，它... 阅读全文

上海人工智能实验室和清华大学的研究人员推测NeedleBench框架，它专门用来测试大语言模型处理长文本的能力。这个框架通过设计一系列越来越具挑战性的任务，评估模型在处理多语言长文本时的检索和推理能力。这些任务涵盖了不同的文本长度和深度范围，允许在不同文本深度区域中策略性地插入关键数据点，以严格测试模型在多样化的上下文... 阅读全文

阿里巴巴推出新型工具套件“Data-Juicer Sandbox”，它旨在促进多模态数据和生成模型的协同开发。多模态数据指的是包含文本、图像、视频和音频等多种类型的数据。生成模型则是指能够基于输入数据生成新内容的人工智能模型，例如根据文本描述生成图像或视频。 例如，你是一位厨师，需要准备一道复杂的菜肴，你需要各种食材（... 阅读全文

阿里巴巴集团Qwen团队最新研发的大型音频-语言模型Qwen2-Audio。这个模型能够处理各种音频信号输入，并根据语音指令进行音频分析或直接文本回应。简单来说，Qwen2-Audio就像一个超级听力助手，不仅能听懂你说的话，还能根据你的声音指令做出反应。例如，你有一个智能助手，它不仅能听懂你说的话，还能分析你播放的音... 阅读全文