Go OpenAI是一个开源的OpenAI API 非官方 Go 客户端，目前支持： ChatGPT GPT-3, GPT-4 DALL·E 2 Whisper ...... 阅读全文

Stability AI在今天推出Stable Audio 2.0，只需要一句提示词，即可生成长达三分钟的44.1 kHz立体声、结构连贯且音质上乘的完整曲目，还支持音频到音频转换能力，以及上传任意音乐对其进行风格转换。目前免费用户可生 ...... 阅读全文

随着各种AI音乐生成器的不断涌现，尤其是Suno 3.0的惊艳问世，许多音乐人感受到了前所未有的压力。近期，国外200多位知名音乐人联名签署了一封公开信，强烈呼吁停止AI对人类创造力的侵害，并保护艺术家免受其掠夺性 ...... 阅读全文

vLLM是一个快速且易于使用的库，专为大语言模型推理和提供服务，支持目前主流的开源大模型。 vLLM之所以快，是因为它具备以下特点： 领先的服务吞吐量 通过PagedAttention高效管理注意力键和值内存 持续批量处理传入 ...... 阅读全文

谷歌发布论文介绍了一种新的模型，用于解决视频中的密集字幕生成问题，即在视频中预测字幕并将其定位在特定的时间段内。理想的字幕生成模型应该能够处理长时间的视频输入，生成丰富、详细的文本描述，并且在处理完整 ...... 阅读全文

腾讯推出新型视频理解模型ST-LLM。ST-LLM的核心思想是将视频内容转化为一系列的空间-时间（spatial-temporal）标记，并将这些标记直接输入到大型语言模型（LLM）中，让模型自己学习如何理解和建模视频序列。这种方法 ...... 阅读全文

这篇论文介绍了一个名为AURORA-M的新型开源多语言大型语言模型（LLM），它是为了解决现有开源预训练模型在多语言能力、持续预训练导致的灾难性遗忘问题，以及遵守人工智能安全和发展法规方面的挑战而设计的。总的来 ...... 阅读全文

这篇论文的主题是关于如何高效地训练能够理解和处理视觉丰富文档（Visually Rich Documents，简称VRD）的语言模型。VRD是指那些结合了视觉元素（如字体大小、颜色、布局等）和语言信息来传递内容的文档，比如发票、 ...... 阅读全文

微软发布新型语音大型语言模型WavLLM，它旨在提高语言模型在处理和理解语音方面的性能。WavLLM通过结合两个编码器（Whisper和WavLM）来分别处理语音的语义内容和说话者的身份特征。该模型采用分阶段的课程学习方法， ...... 阅读全文

来自滑铁卢大学、卡内基·梅隆大学和Vector Institute探讨了大语言模型（LLMs）在处理长篇幅上下文学习任务时的表现。研究者们发现，尽管LLMs在处理短上下文任务时表现出色，但当上下文长度增加时，它们的性能会显著 ...... 阅读全文

英特尔推出多模态基础模型（MMFM）套件LLaVA-Gemma，它利用了最近发布的Gemma系列大语言模型（LLMs）。特别是2B参数的Gemma模型，为构建能力强大的小型多模态基础模型提供了机会。LLaVA-Gemma模型在多种评估中表现中 ...... 阅读全文

来自清华大学、伊利诺伊大学香槟分校、美国东北大学、ModelBest、中国人民大学、北京邮电大学和腾讯的研究人员推出新型大语言模型（LLM）套件EURUS，它专门针对推理任务进行了优化。这些模型在数学、代码生成和逻辑 ...... 阅读全文