谷歌推出新型注意力机制Infini-attention，它可以使基于Transformer的大语言模型（LLMs）高效地处理无限长的输入序列，同时保持内存和计算资源的有限性。例如，就像有一个超级大脑，它可以阅读和记住一本无限长的书 ...... 阅读全文

谷歌在今天宣布将在180多个国家/地区推出Gemini 1.5 Pro 的API，首次提供原生音频（语音）理解能力以及全新的File API，使得文件处理更加便捷。此外，还推出了系统指令和JSON模式等新功能，赋予开发者对模型输出的更 ...... 阅读全文

谷歌于4月6日推出了开源模型Gemma的新版本Gemma 1.1，包括7B和2B两个版本。Gemma 1.1使用新的RLHF方法进行训练，在质量、编码能力、真实性、指令遵循和多轮对话质量方面取得了显着的进步。谷歌还修复了多轮对话中的 ...... 阅读全文

谷歌推出新型的基于Transformer的语言模型“Mixture-of-Depths”（MoD），它能够动态地在模型的不同层之间分配计算资源。传统的变换器模型在处理输入序列时，对每个标记（token）都均匀地分配计算资源。然而，并非所有 ...... 阅读全文

谷歌发布论文介绍了一种新的模型，用于解决视频中的密集字幕生成问题，即在视频中预测字幕并将其定位在特定的时间段内。理想的字幕生成模型应该能够处理长时间的视频输入，生成丰富、详细的文本描述，并且在处理完整 ...... 阅读全文

Google DeepMind推出新型文本嵌入模型Gecko，它的设计目的是从大语言模型（LLMs）中提取知识，以提高文本检索的性能。文本嵌入模型可以将文本数据转换为密集的向量形式，这样语义上相似的文本在嵌入空间中就会彼此靠 ...... 阅读全文

谷歌发布论文的主题是关于语言模型如何记忆和复述其训练数据中的整段文本。具体来说，研究者们探索了语言模型在处理和记忆长文本段落时的内部机制和权重分布。他们发现，尽管记忆过程涉及模型的多个层级和组件，但记 ...... 阅读全文

Google Research发布论文介绍了一种新技术，旨在提升视觉-语言模型（VLMs）的推理能力。VLMs是一种人工智能模型，它能够理解和处理包含图像和文本的信息，例如图表、图形和图解。尽管VLMs在多模态任务上的表现越来越 ...... 阅读全文

谷歌发布的Gemma技术论文，这是一系列基于Google的Gemini模型研究和技术构建的轻量级、最先进的开源模型。Gemma模型在语言理解、推理和安全性方面的学术基准测试中表现出色。论文发布了两个规模的模型（20亿和70亿参 ...... 阅读全文

谷歌DeepMind团队发布了可扩展、可指导的多世界智能体SIMA（Scalable Instructable Multiworld Agent），该智能体可以遵循自然语言指令在各种视频游戏环境中执行任务，从个别游戏转向通用的、可指导的游戏AI智能体。 ...... 阅读全文

谷歌发布了Gemini 1.5 Pro的技术论文，此模型特别擅长理解和处理大量的信息，比如长篇文章、视频和音频。想象一下，你有一个包含数百万字的长篇小说，或者几个小时的视频和音频文件，Gemini 1.5 Pro能够像阅读短文一 ...... 阅读全文

来自谷歌的研究人员发布名为OmniPred的框架，它旨在将语言模型（LMs）训练成通用的端到端回归器，用于处理来自不同现实世界实验的(x, y)评估数据。OmniPred利用谷歌Vizier数据库中的大量黑盒优化数据，展示了仅通过 ...... 阅读全文