优惠 “放射性”(radioactivity)在大语言模型(LLMs)生成的文本中的表现
2年前 (2024-02-26)AI
Meta、巴黎综合理工学院的研究人员发布论文探讨了一个有趣的概念,即“放射性”(radioactivity)在大语言模型(LLMs)生成的文本中的表现。这里的“放射性”指的是,当一个模型(我们称之为Alice的模型)的输出被用作另 ...... 阅读全文
优惠 ChunkAttention:提高大语言模型(LLMs)在处理长序列时的自注意力(self-attention)模块的效率
2年前 (2024-02-26)AI
微软发布论文介绍了一种名为ChunkAttention的新方法,它旨在提高大语言模型(LLMs)在处理长序列时的自注意力(self-attention)模块的效率。自注意力是LLMs的核心组成部分,但在推理长序列时会导致显著的延迟。Chun ...... 阅读全文













