优惠 一致性大型语言模型（CLLMs）：高效并行解码技术

CLLMs 是一种新型模型，它们通过并行解码 n 个 token 来有效降低推理延迟，采用的解码方法称为雅可比解码（Jacobi decoding），在推理效率上优于传统的自回归（AR）解码。实验结果显示，CLLMs 在多种任务上的生成速度提升了 2.4 至 3.4 倍。CLLMs 作为一种高效的并行解码器家族，不仅提... 阅读全文