来自亚利桑那大学和克卢日·纳波卡技术大学的研究人员发布论文探讨了大型预训练语言模型（如Llama2、GPT-4、Claude 3等）在没有经过额外训练或梯度更新的情况下，仅通过上下文示例进行线性和非线性回归任务的能力。简 ...... 阅读全文

来自MIT的研究人员推出新型大语言模型JetMoE-8B，它通过创新的技术实现了低成本和高性能的平衡，为各种语言处理任务提供了广泛的应用可能性。例如，你有一个超级聪明的机器人朋友，它可以和你聊天、帮你写代码、解答 ...... 阅读全文

英伟达推出数据据Audio Dialogues，旨在提升音频和音乐理解方面的对话能力。现有的音频理解数据集主要集中在单轮交互上，例如音频描述或音频问答，这些数据集限制了通过交互式对话理解音频的能力。Audio Dialogues是 ...... 阅读全文

谷歌推出新型开放语言模型RecurrentGemma，它使用了谷歌的Griffin架构。Griffin架构通过结合线性递归和局部注意力机制，在处理语言任务时表现出色。RecurrentGemma模型的一个显著特点是它具有固定大小的状态，这减少 ...... 阅读全文

来自厦门大学、清华大学和微软的研究人员推出语言模型RHO-1，它的设计理念是“并非所有的词汇对于语言模型训练都同等重要”。RHO-1挑战了传统的语言模型训练方法，后者通常会对所有训练词汇应用相同的预测下一个词汇的 ...... 阅读全文

苹果推出一个升级版的多模态大语言模型Ferret-v2，专门设计用于提升图像理解和自然语言处理的能力。例如，你有一个智能助手，它不仅能理解你说的话，还能看懂图片里的内容，并根据图片和你的问题给出精确的回答。Fer ...... 阅读全文

来自香港大学、Salesforce Research、卡内基梅隆大学和滑铁卢大学的研究人员推出OSWORLD，它是一个用于测试和开发多模态智能体的基准平台。这些智能体是指能够通过自然语言指令和图形界面与计算机系统交互的人工智能 ...... 阅读全文

加州大学伯克利分校的研究人员推出新技术LLoCO（Learning Long Contexts Offline），旨在解决大语言模型（LLMs）处理长文本时遇到的挑战。由于自注意力机制的计算和内存开销随序列长度增加而呈二次方增长，以及生成 ...... 阅读全文

被誉为“FFmpeg之父”的法布里斯・贝拉（Fabrice Bellard）再度引领技术潮流，发布了全新的音频压缩工具——TSAC。这款工具以其卓越的压缩性能与出色的音质，吸引了众多音频爱好者的关注。 TSAC在音频压缩方面展现出了惊 ...... 阅读全文

这篇论文介绍了一种名为Sparse Laneformer的新型车道检测方法，这是一种在自动驾驶领域中非常关键的技术。车道检测的主要任务是从给定的图像中预测车道的位置，这对于高级驾驶辅助系统（ADAS）或自动驾驶系统来说非 ...... 阅读全文

谷歌发布论文讨论了合成数据（Synthetic Data）在语言模型开发中的应用、挑战和未来方向。合成数据是指通过算法、生成模型或模拟生成的，模仿现实世界数据特性和模式的人工数据。论文强调了合成数据在解决数据稀缺、 ...... 阅读全文

上海人工智能实验室推出新型神经网络模型HGRN2（Hierarchically Gated Linear RNNs with State Expansion），它是一种在序列建模任务中表现出色的线性递归神经网络（RNN）的改进版本。HGRN2的设计灵感来自于线性注意 ...... 阅读全文