优惠 训练大型语言模型新策略GaLore：解决训练过程中的显存挑战

这篇论文介绍了一种名为GaLore（Gradient Low-Rank Projection）的方法，它是一种训练大型语言模型（LLMs）的策略，旨在解决训练过程中的显存挑战。随着LLMs的规模不断增长，它们的权重和优化器状态所需的内存也越来越多，这限制了在有限硬件资源上进行训练的能力。 主要功能： GaLore的主要... 阅读全文