斯坦福大学推出TEXTGRAD框架，它是一种全新的自动化优化方法，专门为复杂的人工智能（AI）系统设计。例如，有一个非常聪明的助手，它能够理解你给出的指令，然后用自然语言给你反馈，告诉你如何改进你的工作或解决问 ...... 阅读全文

Maitrix.org、加州大学圣地亚哥分校、MBZUAI的研究人员推出新型世界模型Pandora，它能够通过生成视频来模拟未来世界的状态，并且可以接受自然语言的动作指令进行实时控制。简单来说，Pandora就像是一个高级的虚拟助 ...... 阅读全文

罗马大学和爱丁堡大学发布论文，提出了一种基于L2范数的简单而有效的策略，用于压缩大型语言模型（LLMs）中的键值（KV）缓存。在大型语言模型处理长文本时，KV缓存是一个关键组件，它保存了之前token的键和值，以避 ...... 阅读全文

滑铁卢大学推出新型信息检索范式“文档截图嵌入”（Document Screenshot Embedding，简称DSE），DSE在实验中表现出与传统文本检索方法（如BM25）相比更高的检索准确性，并且在混合模态任务中也显示出其有效性。这表明D ...... 阅读全文

华盛顿大学和艾伦人工智能研究所的研究人员推出新型方法MAGPIE，它能够从大语言模型中合成高质量的指令数据。例如，你有一个非常聪明的助手，但它需要一些具体的指令来完成特定的任务。MAGPIE就像是一个能够教这个助 ...... 阅读全文

新型基准测试MMWorld，它是为了全面评估多模态大语言模型（MLLMs）在视频理解方面的能力而设计的。MLLMs是一类能够处理和理解图像、文本和视频等多种模态输入的人工智能模型。MMWorld通过提供丰富的视频内容和相关问 ...... 阅读全文

阿里巴巴集团达摩院推出视频大语言模型VideoLLaMA 2，它是为了提升视频和音频导向任务中的空间-时间建模和音频理解能力而设计的。例如，你想让一个人工智能系统观看一段视频并回答有关视频内容的问题，或者描述视频 ...... 阅读全文

密歇根大学和 纽约大学的研究人员推出大规模数据集3D-GRAND，它是为了提升三维语言模型（3D-LLMs）的理解和减少幻觉（hallucination，即模型错误地生成不存在的对象或信息）而设计的。例如，你有一个智能助手，它能 ...... 阅读全文

阳明交通大学推出视频编辑框架NaRCan，它能够生成高质量的自然规范图像（canonical images），以代表输入视频。这些规范图像非常适合用于各种视频编辑任务，比如风格转换、动态分割和手写等。NaRCan在多个视频编辑任 ...... 阅读全文

康奈尔大学计算机科学系和纽约大学格罗斯曼医学院的研究人员推出新型二维状态空间模型Chimera，它专门用于有效建模多变量时间序列数据。这类数据广泛存在于医疗保健、金融市场、能源管理等领域。例如，你是一名医生 ...... 阅读全文

上海交通大学并行与分布式系统研究所（IPADS）、清华大学计算机科学与技术系和上海人工智能实验室的研究人员推出新颖方法Turbo Sparse，能够在保持模型性能的同时，显著减少每次推理迭代中激活的参数数量。提高大型 ...... 阅读全文

上海交通大学推出PowerInfer-2，它的主要目标是在智能手机上实现大语言模型（LLMs）的高速推理，特别是对于那些模型大小超出设备内存容量的情况。PowerInfer-2是第一个能够在智能手机上以每秒11.68个token的速度运行 ...... 阅读全文