优惠 MInference：加速大语言模型的预填充（pre-filling）阶段，特别是在处理长文本时

微软公司和 萨里大学的研究人员推出新技术MInference（Million-tokens Inference），它旨在加速大语言模型的预填充（pre-filling）阶段，特别是在处理长文本时。预填充阶段是LLMs生成文本前的一个重要步骤，但当文本 ...... 阅读全文