哈尔滨工业大学（深圳）推出新型人工智能代理Anim-Director，它是一个强大的多模态大型模型（LMMs）驱动的动画视频生成器。简单来说，Anim-Director就像一个虚拟的动画导演，能够根据简短的叙述或指令，自动创作出连 ...... 阅读全文

韩国科学技术院MAC实验室推出Video-Foley系统，它是一个视频到声音的转换系统，专门用于生成与视频内容在时间和语义上同步的声音效果（Foley声）。例如，你在观看一部电影，看到一个人用木棍敲打不同材料，比如木头 ...... 阅读全文

新加坡国立大学、VideoSys 团队和普渡大学的研究人员推出新技术Pyramid Attention Broadcast (PAB)，它用于加速基于扩散模型的实时视频生成。这项技术的核心思想是观察到在视频生成过程中的注意力机制（attention） ...... 阅读全文

AI21实验室推出大语言模型Jamba-1.5系列，它们基于Jamba架构，融合了Transformer和Mamba模型的优势，专门针对指令调优进行了优化。Jamba-1.5有两个版本：Jamba-1.5-Large（94亿活跃参数）和Jamba-1.5-Mini（12亿活跃 ...... 阅读全文

Nous Research推出基于 Llama 3.1的大语言模型Hermes 3，它专门针对接受指令和工具使用进行了优化，具备强大的推理和创造能力。Hermes 3模型以其中立的立场和高度的可控性脱颖而出，能够精确地响应用户的指令性陈述 ...... 阅读全文

Meta推出一个名为Sapiens的模型家族，它们是专门为理解人类视觉任务而设计的一系列模型。Sapiens模型经过微调，能够执行四大类与人类相关的基本视觉任务：2D姿态估计、身体部位分割、深度估计和表面法线预测。这些模 ...... 阅读全文

剑桥大学和香港大学的研究人员推出新型基准测试GRAB，专为评估和推动大型多模态模型（Large Multimodal Models，简称LMMs）在图形分析方面的能力而设计。这些模型在许多视觉任务中表现出了强大的能力，但现有的基准 ...... 阅读全文

Twelve Labs推出一种新型视频基础模型TWLV-I，这个模型的目的是提高对视频内容的理解和分析能力，特别是在识别视频中的对象外观（appearance）和运动（motion）方面。例如，一个安全摄像头捕捉到一个场景，TWLV-I可 ...... 阅读全文

这篇论文探讨了人工智能生成图像的水印技术的脆弱性，特别是它们在面对视觉改写攻击时的鲁棒性。随着文本到图像生成系统的快速发展，例如Stable Diffusion、Midjourney、Imagen和DALL-E等模型，人们对其可能被滥用的 ...... 阅读全文

杜比实验室和布法罗大学的研究人员推出Audio Match Cutting，它用于在电影和视频中自动寻找和创建匹配的音频过渡。这种技术特别关注音频的匹配剪辑，即在两个镜头之间实现声音的无缝过渡，让观众在听觉上感觉平滑自 ...... 阅读全文

阿姆斯特丹大学、 荷兰应用科学研究组织和奥地利科学技术研究所的研究人员推出新技术NeCo（Patch Neighbor Consistency），用于改善预训练模型的空间表示能力，特别是在自监督学习环境中。NeCo通过对学生和教师模型 ...... 阅读全文

加州大学圣地亚哥分校、Hillbot 、 浙江大学和加州大学洛杉矶分校的研究人员推出新技术SpaRP（Sparse-view Reconstruction and Pose estimation），它能够从稀疏视角的二维图像中快速重建出三维物体，并估计它们的相 ...... 阅读全文