优惠 谷歌推出新型的基于Transformer的语言模型“Mixture-of-Depths（MoD）”

谷歌推出新型的基于Transformer的语言模型“Mixture-of-Depths”（MoD），它能够动态地在模型的不同层之间分配计算资源。传统的变换器模型在处理输入序列时，对每个标记（token）都均匀地分配计算资源。然而，并非所有 ...... 阅读全文