优惠 ChunkAttention：提高大语言模型（LLMs）在处理长序列时的自注意力（self-attention）模块的效率

微软发布论文介绍了一种名为ChunkAttention的新方法，它旨在提高大语言模型（LLMs）在处理长序列时的自注意力（self-attention）模块的效率。自注意力是LLMs的核心组成部分，但在推理长序列时会导致显著的延迟。ChunkAttention通过利用多个LLM请求共享系统提示（system promp... 阅读全文