阿里巴巴和中山大学的研究人员推出新型数据集和对比学习合成方法Img-Diff，它专注于为多模态大语言模型（MLLMs）提升细粒度图像识别能力。这个方法通过分析相似图像之间的物体差异，挑战模型去识别匹配和不同的组成部分。例如，你有两张看起来非常相似的图片，但它们之间有一些细微的差别，比如一张图片中的物体被替换了。Img-... 阅读全文

腾讯XR视觉实验室和澳大利亚国立大学的研究人员推出创新系统Sketch2Scene，它能够根据用户的简单草图和文本提示，自动生成交互式的3D游戏场景。这就像是给一个会魔法的画家，只需要随手画几笔和简单描述，就能创造出一个栩栩如生的游戏世界。例如，你想要创造一个游戏场景，但你可能不是专业的3D建模师。有了Sketch2S... 阅读全文

TRANSFORMER EXPLAINER是一个交互式可视化工具，它旨在帮助非专业人士通过GPT-2模型来学习理解Transformer这一文本生成模型。Transformer是一种在机器学习领域非常流行的神经网络架构，广泛应用于从文本到视觉的多种任务中。但Transformer的内部工作原理对许多人来说还是一个黑箱，... 阅读全文

阿里通义千问 Qwen2 家族的新成员 Qwen2-Math，以其强大的数学解题能力，为开源语言模型领域带来了新的突破。以下是对 Qwen2-Math 的简介和性能概述，以及其多语言模型开发计划的介绍。 项目主页：https://qwenlm.github.io/zh/blog/qwen2-math GitHub：ht... 阅读全文

中国科学院大学人工智能学院、中国科学院自动化研究所和中国铁塔股份有限公司的研究人员推出新型高效Transformer模型AVESFormer，它专为实时音视频（Audio-Visual, AV）分割任务而设计。音视频分割是一种多模态任务，目的是在像素级别上区分出视频中与声音源相对应的物体。这项技术在机器人感知、视频监控... 阅读全文

清华大学、百度公司、中关村实验室和南洋理工大学的研究人员推出新技术框架ReSyncer，它是一个用于创建统一的音频-视觉同步的面部表演者的系统。简单来说，ReSyncer能够根据给定的音频生成口型同步的视频，并且能够进一步传递目标人物的说话风格和身份特征。ReSyncer在不同方面的性能，包括与现有技术的比较、定量和定... 阅读全文

这篇论文介绍了一个名为LLaVA-OneVision的新型大型多模态模型（LMMs），它是由多个机构共同开发的，包括字节跳动、南洋理工大学、香港中文大学和香港科技大学。这个模型的核心目标是提高计算机视觉任务的性能，特别是在处理单图像、多图像和视频场景时的能力。例如，你正在使用一个智能助手，你给它发送了一张你在旅行中拍摄... 阅读全文

上海人工智能实验室、上海交通大学、香港大学、商汤科技研究部和清华大学的研究人员推出评估基准测试MMIU（Multimodal Multi-image Understanding），它专门用于测试和评估大型视觉-语言模型（LVLMs）在处理多图像任务时的性能。简单来说，MMIU是一个全面的测试套件，它可以检验这些模型是否... 阅读全文

北京国家通用人工智能重点实验室和约翰霍普金斯大学的研究人员推出ExoViP系统，它是一个用于组合视觉推理的验证和探索工具。ExoViP的核心思想是提高复杂视觉任务中人工智能的推理能力，特别是当这些任务需要将复杂的查询转化为一系列可执行的视觉任务时。ExoViP在多个视觉推理任务上的应用，包括视觉问答、图像编辑和视频推理... 阅读全文

复旦大学和上海人工智能科学研究院的研究人员推出大规模文本到视频生成数据集VIDGEN-1M，这个数据集是为了提升文本到视频模型的训练效果而特别设计的，它通过精细的筛选和标注过程，提供了高质量的视频和详细的文本描述。例如，你想要制作一个关于海滩日落的视频，你可以给模型一个文本描述，比如“一个男人戴着红帽子，穿着灰色衬衫站... 阅读全文

英特尔实验室推出开源框架RAG Foundry，它专门用于增强大语言模型（LLMs），特别是针对检索增强型生成（Retrieval-Augmented Generation，简称RAG）的应用场景。简单来说，RAG Foundry是一个多功能工具箱，它可以帮助研究者和开发者通过整合外部信息源来提升语言模型在特定任务上的... 阅读全文

洋理工大学、清华大学、伦敦帝国理工学院和西湖大学的研究人员推出MeshAnything V2系统，它是一个能够自动生成与给定形状对齐的艺术家创造的网格（Artist-Created Meshes，简称AM）的模型。简单来说，MeshAnything V2就像一个聪明的3D设计师，可以根据你提供的形状或者描述，自动设计出... 阅读全文