北京大学、北京人工智能研究院和大连理工大学的研究人员推出一种新型多模态大型语言模型DenseFusion-1M，它通过融合多种视觉专家的知识来增强对复杂视觉元素的理解能力。这些模型能够理解图像中的多个对象、文本信息和空间关系，但它们的性能很大程度上受限于可用的高质量图像-文本数据集的质量。 GitHub：https:/... 阅读全文

英伟达推出一种新型的混合模型架构——MambaVision，它是专门为视觉应用设计的。MambaVision的核心贡献在于重新设计了Mamba公式，以增强其对视觉特征的高效建模能力。此外，论文还对将视觉变换器（ViT）与Mamba集成的可行性进行了全面的研究。 GitHub：https://github.com/NVl... 阅读全文

香港中文大学、北京大学、上海人工智能实验室和甲骨文公司的研究人员推出新型多模态大语言模型的调优范式MAVIS，专门针对数学视觉问题解决能力的提升。MAVIS通过利用大型语言模型和代码能力，合成了大量的抽象图像和视觉推理指令，以提高模型在数学问题上的表现。 GitHub：https://github.com/ZrrSky... 阅读全文

德克萨斯大学奥斯汀分校、 萨里大学、 牛津大学、加州理工学院和Meta AI的研究人员推出新方法Q-GaLore，它用于提高训练大语言模型（LLMs）时的内存效率。大型语言模型是一类拥有数十亿参数的人工智能模型，它们在各种任务中表现出色，但训练这些模型需要巨大的内存和计算资源。实验结果表明，Q-GaLore在预训练和微... 阅读全文

浙江大学的研究人员发布论文，论文的主题是关于如何提高大型多模态模型（LMMs）在理解和推理抽象图像方面的能力。多模态模型是一种人工智能技术，它能够处理和理解多种类型的数据，如文本、图像等。然而，尽管这些模型在处理自然场景照片和人像方面已经相当擅长，它们在处理图表、地图或布局等抽象图像时仍然存在困难。这些抽象图像通常由简... 阅读全文

智谱AI推出一种新型视频理解模型——CogVLM2-Video。该模型针对现有技术中的一些限制进行了改进，旨在更准确地理解和回答与视频内容相关的问题。CogVLM2-Video模型结合了新生成的数据集和现有的开放领域问答数据。该模型引入了多帧视频图像和时间戳作为编码器输入，通过这种方式，模型能够更好地理解视频内容及其时... 阅读全文

MIT推出新型训练范式Diffusion Forcing（扩散驱动），它结合了两种强大的序列生成模型的优点：基于下一个词预测的模型和全序列扩散模型。想象一下，你有一个能够生成文本、视频或控制机器人的人工智能，但它在生成长序列或进行复杂决策时可能会遇到困难。Diffusion Forcing 就是用来解决这些问题的。 项... 阅读全文

布朗大学计算机科学系的研究人员推出新基准测试Planetarium，用于评估大语言模型解决规划问题的性能，特别是将自然语言描述的规划任务转换成结构化的规划语言，例如规划领域定义语言（PDDL），并通过实验展示了现有模型在这一领域的挑战和潜力。例如，你告诉计算机：“我想要把桌子上的两个积木堆叠起来。”计算机需要理解这句话... 阅读全文

2024 世界人工智能大会（WAIC 2024）期间，阿里达摩院推出了一站式 AI 视频创作平台 —— 寻光。官方表示，该平台旨在通过 AI 技术使视频创作更简单、高效，其集成了剧本创作、分镜设计、视频素材编辑等关键步骤，创作者可以从构思到成品，在该平台上完成视频创作全过程。 据介绍，寻光包含如下功能： 故事板生成：一... 阅读全文

台湾大学、香港中文大学和Meta的研究人员发布论文，探讨了如何将大型语言模型（LLMs）应用于语音到文本翻译（Speech-to-Text Translation, S2TT）任务。S2TT是一种技术，它能够将一种语言的语音信号转换成另一种语言的文字，这对于跨语言交流非常重要。例如，一个英语使用者想要理解德语的演讲，S... 阅读全文

上海交通大学X-LANCE实验室、上海人工智能实验室和香港中文大学（深圳）的研究人员推出新型文本到音频生成框架PicoAudio，它专注于提供精确的时间戳和频率可控性。简单来说，PicoAudio能够根据文本描述生成音频，并且能够精确控制音频中特定事件的发生时间和频率。 项目主页：https://picoaudio.g... 阅读全文

Yandex和高等经济大学的研究人员推出推出关于表格型机器学习（Tabular Machine Learning）的一个新的基准测试集合TabReD。表格型机器学习是一种处理表格数据的人工智能技术，这些数据通常包含行和列，类似于电子表格中的组织方式。想象一下，你有一个包含许多客户信息的表格，你想知道哪些客户最有可能购买... 阅读全文