2年前 (2024-05-22)AI
AIRI、Skoltech、SberAI、HSE 大学、莫斯科国立罗蒙诺索夫大学的研究人员发布论文，主题是探索Transformer解码器中的线性特性，尤其是像GPT、LLaMA、OPT、BLOOM等模型。Transformer模型在自然语言处理（NLP）领域取 ...... 阅读全文
Transformer
优惠 Transformer语言模型能够表示n-gram语言模型
AI
2年前 (2024-04-24)AI
苏黎世联邦理工学院的研究人员发布论探讨和证明Transformer语言模型能够表示n-gram语言模型。n-gram语言模型是一种基于统计的语言模型，它根据前面的n-1个词来预测下一个词的概率。Transformer语言模型是一种基于深 ...... 阅读全文
优惠 新型Transformer模型Searchformer：训练Transformer来解决复杂的规划任务
AI
2年前 (2024-02-24)AI
来自Meta的研究人员发布论文介绍了一种名为Searchformer的新型Transformer模型，它通过一种称为搜索动态引导（search dynamics bootstrapping）的方法，训练Transformer来解决复杂的规划任务。Transformer是一种深度 ...... 阅读全文
