优惠 Speculative Streaming：加速大语言模型的推理过程，而无需依赖辅助模型

论文的主题是关于一种名为“Speculative Streaming”的方法，旨在加速大语言模型（LLMs）的推理过程，而无需依赖辅助模型。这种方法通过在目标模型内部融合起草（drafting）和验证（verification）过程，实现了对解码速度的显著提升。Speculative Streaming通过在单一模型内... 阅读全文