优惠 华为方舟实验室推出新型自我推测解码框架Kangaroo：加速大语言模型的推理过程，同时保持一致的采样分布

华为方舟实验室推出新型自我推测解码框架Kangaroo，它旨在加速大语言模型（LLMs）的推理过程，同时保持一致的采样分布。在自然语言处理领域，大型语言模型通常需要逐步生成文本序列，这个过程称为自回归解码，它计算成本高且速度慢。Kangaroo通过自我推测解码来解决这个问题，它使用一个固定的浅层子网络作为自我草稿模型，... 阅读全文