香港大学、香港中文大学和华为诺亚方舟实验室的研究人员推出全新基准测试工具T2V-CompBench，它专门用于评估文本到视频（Text-to-Video, T2V）生成模型的性能。T2V模型需要根据这个描述生成一段视频。但T2V-CompBenc ...... 阅读全文

阿卜杜拉国王科技大学和瑞士人工智能实验室推出Goldfish，它专门用来理解和处理非常长的视频内容。你有一个好几个小时的视频，比如一部电影或电视剧，你想知道里面某个特定场景的细节，但是从头到尾看完实在太费时间 ...... 阅读全文

阿尔伯塔大学、德克萨斯大学奥斯汀分校微软纽约研究院和加州大学伯克利分校的研究人员推出一种新型的视频预测模型，称为视频占用模型（Video Occupancy Models，简称VOCs）。这些模型专为支持下游控制任务而设计，它 ...... 阅读全文

杜比实验室和加泰罗尼亚理工大学的研究人员推出新模型MaskVAT（Masked Generative Video-to-Audio Transformers），它能够根据无声视频生成与之匹配的音频。简单来说，就是让计算机“看”一段没有声音的视频，然后“想 ...... 阅读全文

南洋理工大学的研究人员推出新型视频帧插值方法GIMM（Generalizable Implicit Motion Modeling），视频帧插值是一种在两个已有视频帧之间生成中间帧的技术，它对于提高视频质量、创建新的视频视角以及视频压缩等应用 ...... 阅读全文

2024 世界人工智能大会（WAIC 2024）期间，阿里达摩院推出了一站式 AI 视频创作平台 —— 寻光。官方表示，该平台旨在通过 AI 技术使视频创作更简单、高效，其集成了剧本创作、分镜设计、视频素材编辑等关键步骤，创作 ...... 阅读全文

新型文本到视频（Text-to-Video, T2V）生成基准测试ChronoMagic-Bench。这个基准测试专门用来评估T2V模型在生成具有显著变化幅度和时间连贯性的延时视频方面的能力。简单来说，ChronoMagic-Bench就像是一个考试，它 ...... 阅读全文

滑铁卢大学、清华大学、Stardust.AI、多伦多大学和AI2的研究人员推出自动视频质量评估工具MANTISSCORE，自动评估视频生成的质量。随着人工智能技术的发展，尤其是文本到视频（Text-to-Video, T2V）生成模型的快速进 ...... 阅读全文

加州大学圣克鲁斯分校、Snap Research、 KAUST和德克萨斯大学达拉斯分校的研究人员推出新型视频编辑框架VIA（Video Adaptation Framework），VIA专注于提供一种统一的方法来处理视频编辑中的两个主要挑战：全局和局 ...... 阅读全文

Maitrix.org、加州大学圣地亚哥分校、MBZUAI的研究人员推出新型世界模型Pandora，它能够通过生成视频来模拟未来世界的状态，并且可以接受自然语言的动作指令进行实时控制。简单来说，Pandora就像是一个高级的虚拟助 ...... 阅读全文

阳明交通大学推出视频编辑框架NaRCan，它能够生成高质量的自然规范图像（canonical images），以代表输入视频。这些规范图像非常适合用于各种视频编辑任务，比如风格转换、动态分割和手写等。NaRCan在多个视频编辑任 ...... 阅读全文

加州大学圣巴巴拉分校和滑铁卢大学的研究人员推出新基准测试TC-Bench，它专门用来评估和比较不同的视频生成模型在处理时间维度上组合性的能力。这里的“时间组合性”意味着视频中的物体或者场景能够随着时间变化而展现 ...... 阅读全文