ChunkAttention

优惠 ChunkAttention：提高大语言模型（LLMs）在处理长序列时的自注意力（self-attention）模块的效率

  • ChunkAttention：提高大语言模型（LLMs）在处理长序列时的自注意力（self-attention）模块的效率
    AI
    • 推荐人：暴走AI 标签：ChunkAttention大语言模型 AI
    2年前 (2024-02-26)AI
    微软发布论文介绍了一种名为ChunkAttention的新方法，它旨在提高大语言模型（LLMs）在处理长序列时的自注意力（self-attention）模块的效率。自注意力是LLMs的核心组成部分，但在推理长序列时会导致显著的延迟。Chun ...... 阅读全文
    直达链接 好 0 不好 0 ChunkAttention：提高大语言模型（LLMs）在处理长序列时的自注意力（self-attention）模块的效率已关闭评论