AI
标签：BurstAttention
AI
2年前 (2024-03-15)AI
这篇论文介绍了一个名为BurstAttention的新型分布式注意力框架，它专门设计来处理极长序列的数据。在大语言模型（LLMs）中，注意力模块是理解复杂文本和生成响应的关键部分，但是随着序列长度的增加，这些模块在计算 ...... 阅读全文
