这篇论文介绍了一个名为“Task Me Anything”（简称TASK-ME-ANYTHING）的基准测试生成引擎，它是为了评估大型多模态语言模型（MLMs）而设计的。这些模型能够处理包括图像、视频、文本等在内的多种类型的数据，但在实际 ...... 阅读全文

佐治亚理工学院、斯坦福大学和亚马逊的研究人员发布论文，论文的主题是对开放性的语言模型（Open Language Models，简称LMs）进行深入的实验分析，以评估它们在不同类型的任务、应用领域和推理类型中的表现。简单来 ...... 阅读全文

华盛顿大学、Salesforce Research、斯坦福大学、德克萨斯大学奥斯汀分校、 加州大学伯克利分校的研究人员推出大规模多模态数据集MINT-1T，它是目前最大、最多样化的开源多模态交错数据集。MINT-1T的出现是为了解决目 ...... 阅读全文

意大利博洛尼亚大学推出新型多模态大语言模型LLaNA（Large Language and NeRF Assistant），它专门设计用来理解和处理一种称为Neural Radiance Fields（NeRFs）的3D数据表示。NeRFs是一种先进的3D建模技术，能够捕捉 ...... 阅读全文

哈佛大学肯普纳研究所、牛津大学的研究人员推出数据选择方法CoLoR-Filter（Conditional Loss Reduction Filtering），用于目标化的语言模型预训练。简单来说，CoLoR-Filter是一种智能的筛选工具，它可以帮助我们从大 ...... 阅读全文

武汉大学、上海人工智能实验室、香港中文大学和MThreads的研究人员推出基准测试和指令调整数据集MMDU（Multi-Turn Multi-Image Dialog Understanding），专门为大型视觉语言模型（LVLMs）设计的。这些模型就像人工智 ...... 阅读全文

艾伦人工智能研究所、华盛顿大学、加州大学圣巴巴拉分校和滑铁卢大学的研究人员推出WILDVISION，它是一个用于评估视觉-语言模型（VLMs）在现实世界中表现的在线平台。WILDVISION通过收集人类偏好来评估这些模型，特 ...... 阅读全文

Zoomtuic 一种新的强化学习方法WPO（加权偏好优化），它用于改善大语言模型（LLMs）与人类价值观的一致性。具体来说，WPO旨在解决在使用人类反馈进行强化学习（RLHF）时遇到的一些问题，尤其是在离策略（off-policy ...... 阅读全文

延世大学和首尔国立大学的研究人员推出新型对话系统框架THEANINE，它专注于改善长期对话中的记忆管理问题。在长期对话中，比如与智能助手聊天时，系统需要记住之前对话的内容，以便在后续的对话中能够准确引用。然而 ...... 阅读全文

新加坡国立大学和Meta的研究人员推出在线视频大型语言模型VideoLLM-online，它专为流媒体视频设计，能够实时理解和生成与视频内容相关的对话。例如，你戴着一副智能眼镜，而这副眼镜能够实时分析你看到的场景，并与 ...... 阅读全文

马里兰大学帕克分校的研究人员推出大型图像描述数据集PixelProse，PixelProse包含了超过1600万个由先进的视觉-语言模型自动生成的图像描述。例如，一个艺术家想要了解他的画作在视觉上给人的感受，PixelProse可以帮 ...... 阅读全文

上海人工智能实验室OpenGVLab、复旦大学、清华大学、香港中文大学、南京大学、商汤科技研究院和香港大学的研究人员推出新基准测试MM-NIAH，专门用来评估多模态大语言模型（MLLMs）理解长篇多模态文档的能力。例如， ...... 阅读全文