优惠 谷歌推出新型的基于Transformer的语言模型“Mixture-of-Depths（MoD）”

谷歌推出新型的基于Transformer的语言模型“Mixture-of-Depths”（MoD），它能够动态地在模型的不同层之间分配计算资源。传统的变换器模型在处理输入序列时，对每个标记（token）都均匀地分配计算资源。然而，并非所有的标记都需要相同的计算量来准确预测结果。MoD模型通过学习动态地决定哪些标记需要更... 阅读全文