中国科学院自动化研究所多模态人工智能系统国家重点实验室、中国科学院大学人工智能学院、松鼠AI、阿里巴巴集团和Meta AI的研究人员推出新型大型多模态模型SliME，这些模型能够处理和理解高分辨率的图像和文本信息。例如，你有一个智能助手，它不仅能读懂你给它的任何图片，还能理解图片中的细节，并回答你关于图片内容的问题。 ... 阅读全文

HistAI推出新型视觉变换器（Vision Transformers，简称ViTs）家族Hibou，它们专门用于病理学领域。病理学是研究疾病组织的科学，通过显微镜检查来诊断各种疾病，尤其是癌症。传统的病理学方法既耗时又容易出错，而数字病理学通过将玻片扫描成高分辨率的数字图像，让计算机算法进行分析，从而彻底改变了这一领... 阅读全文

爱丁堡大学、 罗马大学、巴里理工大学、伦敦大学学院、特伦托大学、 AssemblyAI和 英国卫生安全局的研究人员对一个流行的大型多任务语言理解（MMLU）基准测试进行深入分析和纠错，MMLU是用来评估大型语言模型（LLMs）在多种语言任务上的表现，比如历史、数学、计算机科学等领域。但论文作者发现，尽管MMLU被广泛使... 阅读全文

加州大学圣克鲁斯分校发布论文，论文的主题是关于如何让大语言模型（LLMs）“忘记”它们所学到的某些知识。例如，我们有一个聊天机器人，它通过学习大量的文本数据变得很聪明。但有一天，我们发现它学会了一些不应该被分享的秘密，比如某个人的个人信息。使用ECO方法，我们可以训练一个分类器来识别包含这个人信息的输入，然后在这些输入... 阅读全文

Google DeepMind推出一种新型的生成模型——被称为“Simplified and Generalized Masked Diffusion”（简化和通用化的掩蔽扩散，简称MD4）的模型。这个模型专注于离散数据的生成，比如文本和像素级别的图像数据。了MD4模型在OpenWebText数据集上的表现超过了之前的... 阅读全文

魁北克 Mila 人工智能研究所、ServiceNow Research、蒙特利尔大学、宾夕法尼亚大学、滑铁卢大学和香港科技大学的研究人员推出新任务Visual Caption Restoration（VCR，视觉字幕恢复），它挑战现有的视觉-语言模型，以准确恢复图像中部分被遮挡的文本。这项任务的灵感来自于观察到图像中... 阅读全文

字节跳动推出一种新型的大语言模型（LLM）——Mistral-C2F，它是为了增强小规模语言模型在对话和分析推理方面的能力的。想象一下，如果你有一个智能助手，它可以帮你写邮件、回答问题，甚至帮你分析复杂问题，但有时候它给出的回答可能不够深入或者不够个性化。Mistral-C2F模型就是为了解决这些问题而设计的。 例如，... 阅读全文

英伟达发布的Nemotron-4 340B系列模型家族，包括Nemotron-4-340B-Base、Nemotron-4-340B-Instruct和Nemotron-4-340B-Reward。这些模型在多种任务上展现出了强大的性能，并且可以在单个DGX H100系统上的8个GPU中以FP8精度部署。模型的安全性评... 阅读全文

英伟达推出开源数据集HelpSteer2，它是为了训练能够指导大语言模型（LLMs）生成符合人类偏好的高质量回应的奖励模型而设计的。HelpSteer2数据集的特点是它包含了对回应的多属性评分，这有助于训练出能够更好地符合人类偏好的奖励模型。例如，你是一个在线客服聊天机器人的开发者，你希望机器人能够提供既准确又有帮助的... 阅读全文

弗吉尼亚大学、斯坦福大学和亚马逊的研究人员提出了一种新型的“能量基世界模型”（Energy-Based World Models，简称EBWM），这是一种受人类认知启发的机器学习模型，旨在改善现有世界模型在模拟人类预测和规划能力方面的不足。论文的核心观点是，尽管现有的自回归模型（如大型语言模型和计算机视觉中的帧预测模型... 阅读全文

Meta AI和阿姆斯特丹大学的研究人员发布论文，论文的核心主题是对现代计算机视觉架构中一个长期存在的假设——局部性（locality）的必要性提出质疑。局部性是指在图像处理中，相邻像素之间的关联性比相隔较远的像素要强。传统上，包括卷积神经网络（ConvNets）在内的许多视觉模型都依赖于这种局部性偏见来设计和优化性能... 阅读全文

斯坦福大学、加州大学伯克利分校、丰田研究院、Google DeepMind和麻省理工学院推出OpenVLA，它是一个拥有7亿参数的视-语-行模型（Vision-Language-Action Model，简称VLA）。简单来说，OpenVLA就像是一个多才多艺的机器人大脑，它能够理解人类的语言指令，并通过自己的“眼睛”... 阅读全文