优惠 新型解码框架Ouroboros：加速大语言模型（LLMs）的推理过程

这篇论文介绍了一种名为Ouroboros的新型解码框架，它旨在加速大语言模型（LLMs）的推理过程。Ouroboros通过一种称为“推测性解码”的方法，使用一个小型模型快速生成草稿，然后利用大型模型进行验证和修正，以减少时间 ...... 阅读全文