马里兰大学、劳伦斯利弗莫尔国家实验室、蒂宾根埃利斯研究所、马克斯·普朗克智能系统研究所、图宾根人工智能中心和卡内基梅隆大学的研究人员发布论文，论文的主题是关于如何让一种名为“Transformer”的人工智能模型更好地执行数学运算，特别是大数字的加法。Transformer模型在处理语言和生成代码方面已经取得了很大进步... 阅读全文

MIT的研究人员发布论文，主题是关于如何减少Transformer模型中关键值（Key-Value，KV）缓存的大小。Transformer模型是当前自然语言处理（NLP）领域非常流行的一种模型，它在处理大语言模型（LLMs）时，解码速度很快，但需要大量的内存来存储KV缓存，这在处理长序列和大批量数据时尤其成问题。 主... 阅读全文