优惠 新型解码框架Ouroboros：加速大语言模型（LLMs）的推理过程

这篇论文介绍了一种名为Ouroboros的新型解码框架，它旨在加速大语言模型（LLMs）的推理过程。Ouroboros通过一种称为“推测性解码”的方法，使用一个小型模型快速生成草稿，然后利用大型模型进行验证和修正，以减少时间开销。这种方法不需要对模型进行额外训练，也不会影响生成质量。 GitHub地址：https://... 阅读全文