AIRI、Skoltech、SberAI、HSE 大学、莫斯科国立罗蒙诺索夫大学的研究人员发布论文，主题是探索Transformer解码器中的线性特性，尤其是像GPT、LLaMA、OPT、BLOOM等模型。Transformer模型在自然语言处理（NLP）领域取得了革命性的进展，但它们的内部工作机制仍然不完全清楚。这项... 阅读全文

苏黎世联邦理工学院的研究人员发布论探讨和证明Transformer语言模型能够表示n-gram语言模型。n-gram语言模型是一种基于统计的语言模型，它根据前面的n-1个词来预测下一个词的概率。Transformer语言模型是一种基于深度学习的先进语言模型，广泛应用于自然语言处理任务中。例如，我们有一个4-gram语言... 阅读全文

来自Meta的研究人员发布论文介绍了一种名为Searchformer的新型Transformer模型，它通过一种称为搜索动态引导（search dynamics bootstrapping）的方法，训练Transformer来解决复杂的规划任务。Transformer是一种深度学习模型，通常用于处理自然语言处理（NLP... 阅读全文