优惠 “放射性”(radioactivity)在大语言模型(LLMs)生成的文本中的表现
2年前 (2024-02-26)AI
Meta、巴黎综合理工学院的研究人员发布论文探讨了一个有趣的概念,即“放射性”(radioactivity)在大语言模型(LLMs)生成的文本中的表现。这里的“放射性”指的是,当一个模型(我们称之为Alice的模型)的输出被用作另一个模型(Bob的模型)的训练数据时,Alice能否检测到这种使用。这就像是在模型训练过程... 阅读全文
优惠 ChunkAttention:提高大语言模型(LLMs)在处理长序列时的自注意力(self-attention)模块的效率
2年前 (2024-02-26)AI
微软发布论文介绍了一种名为ChunkAttention的新方法,它旨在提高大语言模型(LLMs)在处理长序列时的自注意力(self-attention)模块的效率。自注意力是LLMs的核心组成部分,但在推理长序列时会导致显著的延迟。ChunkAttention通过利用多个LLM请求共享系统提示(system promp... 阅读全文
















