优惠 线性变换器（Linear Transformers）在上下文学习（In-Context Learning，ICL）中的潜力

这篇论文探讨了线性变换器（Linear Transformers）在上下文学习（In-Context Learning，ICL）中的潜力。研究者们发现，尽管线性变换器在结构上相对简单，但它们在处理复杂问题时表现出了惊人的能力。具体来说，线性变换器能够在其前向推理过程中隐式地执行类似于梯度下降的算法，并且能够发现并执行一... 阅读全文