GitHub上的一个项目收集列表，以OpenAI的Sora为线索，对文本到视频领域的现有研究进行了全面的探索，并总结了该领域的24个数据集和9个评估指标。还发布论文梳理了文生视频的发展历程，结合Sora的优势和相关领域的特点，探讨了该研究领域及Sora本身存在的问题，并为未来的研究方向提供了建议。如果我们的工作能够给予... 阅读全文

在软件开发的世界里，记录和回顾项目上下文信息是至关重要的。但你是否曾在使用通用笔记软件记录代码时感到不便？比如难以表达代码运行流程，或者代码与笔记之间的割裂让你无法快速回顾？现在，有了解决方案——MindCode，一款专为程序员设计的代码笔记软件。MindCode 是一款与 IDE 无缝集成的多功能代码笔记软件，它通过... 阅读全文

IBM Research发布论文，探讨如何使用大语言模型（LLMs）来自动生成规划领域的模型。在人工智能规划领域，创建领域模型通常需要人工手动完成，这限制了规划技术的普及和应用。为了使规划过程更加自动化和易于访问，研究者们希望能够自动从简单的文本描述中生成这些领域模型。 例如，你有一个物流公司，需要规划无人机的送货路线... 阅读全文

上海科技大学与上海市智能视觉与成像工程技术研究中心的研究人员推出Layer-Condensed KV Cache，如何高效地部署和运行大型语言模型（LLMs），以便在真实世界的应用中实现高吞吐量和低延迟。大型语言模型因其庞大的参数数量和深度的网络结构，在自然语言处理（NLP）任务中表现出色，但它们在部署时面临着巨大的内... 阅读全文

来自上海人工智能实验室、浙江大学和香港中文大学的研究人员推出新型的三维场景理解模型——Grounded 3D-LLM（Grounded 3D Large Language Model）。这个模型旨在通过结合三维视觉和语言模型，来处理和理解复杂的三维场景。下面我将用通俗易懂的语言来介绍这个模型的主要功能、特点、工作原理以... 阅读全文

来自深圳大学计算机科学与软件工程学院、腾讯AI实验室、 武汉大学和西交利物浦人工智能与先进计算学院的研究人员推出ChatFlow，这是一种成本效益的方式训练大型语言模型（LLMs），特别是针对中文这样的非英语语言。大型语言模型在自然语言处理（NLP）领域有着广泛的应用，但训练这些模型来处理除了英语之外的语言面临很多挑战... 阅读全文

由IBM Research AI和其他合作机构共同开发的一套大语言模型INDUS，这些模型专门为科学应用而设计，能够处理地球科学、生物学、物理学、太阳物理学、行星科学和天体物理学等领域的专业任务。 主题介绍： 想象一下，你有一个超级助手，它能够阅读和理解大量的科学文献，并且能够回答你关于这些领域的复杂问题。这就像是拥有... 阅读全文

Two Platforms推出多语言大语言模型（LLM）架构SUTRA，它能够理解、推理并用超过50种语言生成文本。SUTRA的设计独特之处在于它将核心概念理解与语言特定处理分离开来，这有助于实现可扩展和高效的多语言对齐和学习。SUTRA采用了专家混合（Mixture of Experts，MoE）框架，既用于语言处理... 阅读全文

腾讯推出全面基准测试Plot2Code，它是为了评估多模态大语言模型（MLLMs）在将科学图表转换为可执行代码方面的能力而设计的。MLLMs在视觉领域的应用取得了显著进展，但它们在将视觉图表转换为代码方面的能力尚未得到充分评估。Plot2Code旨在填补这一空白，提供一个公平且深入的评估框架。 通俗介绍： 想象一下，你... 阅读全文

SambaNova推出新型AI加速器SambaNova SN40L，它通过采用数据流架构和专家组合（Composition of Experts，简称CoE）的方法，有效扩展了AI的内存容量。这种加速器旨在解决大型单一AI模型（如GPT-4）在训练、服务和维护时面临的成本高昂和挑战性问题。 通俗介绍： 想象一下，你有一... 阅读全文

Adobe Research推出LogoMotion，它是一个基于大语言模型（LLM）的方法，能够自动为静态布局生成动画。这个过程是内容感知的，意味着动画的生成会考虑到布局中的视觉内容和结构。LogoMotion通过两个阶段来实现：视觉上下文的程序合成和程序修复。LogoMotion展示了如何将大型语言模型应用于复杂的... 阅读全文

微软推出大型信息丰富的网络数据集MS MARCO Web Search，它包含了数百万真实点击的查询-文档标签。这个数据集是首次尝试，旨在模拟现实世界中的网页文档和查询分布，为各种类型的下游任务提供丰富的信息，并鼓励在多个研究领域进行创新，例如通用的端到端神经索引器模型、通用嵌入模型，以及使用大型语言模型的下一代信息访... 阅读全文