标签:Transformer模型
AI
2年前 (2024-05-22)AI
MIT的研究人员发布论文,主题是关于如何减少Transformer模型中关键值(Key-Value,KV)缓存的大小。Transformer模型是当前自然语言处理(NLP)领域非常流行的一种模型,它在处理大语言模型(LLMs)时,解码速度很快 ...... 阅读全文
















