优惠 创新的知识蒸馏方法PLaD：用于从大语言模型中提取知识并将其传授给更紧凑的学生模型

佐治亚理工学院和谷歌的研究人员推出新方法PLaD（Preference-based Large Language Model Distillation），它用于从大语言模型（LLMs）中提取知识并将其传授给更紧凑的学生模型。这种方法特别适用于资源受限的环境中，能够有效地减少模型的内存占用和推理成本。 例如，你有一个非常... 阅读全文