PopPop AI 是一款免费的人工智能音效在线生成器，用户可以通过输入文字描述来快速生成相应的音效素材。这些音效包括鼓掌声、下雨声、车流声等，适用于视频制作、游戏开发或其他需要音效的场合。PopPop AI 的特点是使用简便，不需要注册即可立即使用，并且提供了多种音效范例，用户可以根据需要选择合适的音效。此外，Pop... 阅读全文

MUSICONGEN是一个基于Transformer的文本到音乐生成模型。简单来说，MUSICONGEN能够根据文本提示生成具有节奏和和弦控制的音乐。这就像是给一个音乐智能助手一些文字描述，比如“一个充满活力的摇滚乐段”，然后它就能创作出符合这个描述的音乐。 项目主页：https://musicongen.github... 阅读全文

上海交通大学人工智能教育部重点实验室X-LANCE实验室和英国萨里大学视觉、语音和信号处理中心的研究人员发布论文，论文的主题是关于提高自动音频字幕生成（Automated Audio Captioning, AAC）的效率，即如何让计算机更好地理解音频内容并生成相应的文本描述。想象一下，当你在听一段音乐或者演讲，计算机... 阅读全文

StabilityAI在上个月公开新型文本到音频的生成模型Stable Audio Open后，终于在本月公开了技术报告，Stable Audio Open的特别之处在于，它是开放的，意味着任何人都可以使用和研究它，而且它是用Creative Commons（创意共享）许可的音频数据训练的，这保证了数据的合法性和透明性... 阅读全文

阿里巴巴旗下通义实验室语音团队推出声音理解和生成基础模型FunAudioLLM模型家族，专为优化人类与大语言模型(LLMs)间的自然语音交互而设计。该体系的核心亮点是两大创新模型：SenseVoice，擅长处理多语种语音识别、情绪识别及音频事件探测；以及CosyVoice，能灵活生成自然语音，实现对多种语言、音色、讲述... 阅读全文

Meta、索邦大学、耶路撒冷希伯来大学 和Kyutai的研究人员发布论文，论文的主题是关于音乐生成的新方法，特别是如何通过音频输入来控制音乐的风格。例如，你有一个贝多芬的钢琴奏鸣曲的片段，你想让AI生成一首新的钢琴曲，听起来和贝多芬的风格相似。这篇论文介绍的方法可以帮助你实现这个目标。你只需要给AI提供这个贝多芬的片段... 阅读全文

哥伦比亚大学电气工程系的研究人员推出Speech Slytherin，探讨了一种新型的序列模型Mamba，并将其应用于语音处理的三个关键任务：语音分离、自动语音识别（ASR）和文本到语音合成（TTS）。Mamba是一种新型的序列模型，它与传统的变换器（transformer）模型相比，可能在某些方面有更好的性能和更高的... 阅读全文

阿里巴巴集团Qwen团队最新研发的大型音频-语言模型Qwen2-Audio。这个模型能够处理各种音频信号输入，并根据语音指令进行音频分析或直接文本回应。简单来说，Qwen2-Audio就像一个超级听力助手，不仅能听懂你说的话，还能根据你的声音指令做出反应。例如，你有一个智能助手，它不仅能听懂你说的话，还能分析你播放的音... 阅读全文

台湾大学、香港中文大学和Meta的研究人员发布论文，探讨了如何将大型语言模型（LLMs）应用于语音到文本翻译（Speech-to-Text Translation, S2TT）任务。S2TT是一种技术，它能够将一种语言的语音信号转换成另一种语言的文字，这对于跨语言交流非常重要。例如，一个英语使用者想要理解德语的演讲，S... 阅读全文

上海交通大学X-LANCE实验室、上海人工智能实验室和香港中文大学（深圳）的研究人员推出新型文本到音频生成框架PicoAudio，它专注于提供精确的时间戳和频率可控性。简单来说，PicoAudio能够根据文本描述生成音频，并且能够精确控制音频中特定事件的发生时间和频率。 项目主页：https://picoaudio.g... 阅读全文

微软推出全新文本到语音转换系统E2 TTS（Embarrassingly Easy Text-to-Speech），这是一种非自回归（non-autoregressive）的零样本（zero-shot）文本到语音合成技术，意味着它能够在没有特定训练数据的情况下，模仿任何人的声音来生成自然听起来的语音。E2 TTS的提出... 阅读全文

新型音乐生成模型JEN-1 DreamStyler，它能够根据用户提供的参考音乐片段，学习并捕捉音乐中的独特概念，然后生成符合这一概念的新音乐作品。JEN-1 DreamStyler在定性和定量评估中都优于几个基线模型，并且提供了演示，可以在其网站上听到生成的音乐示例。此外，论文还介绍了一个新的数据集和评估协议来支持这... 阅读全文