优惠 新型二值化技术“Mixture of Scales”：用于压缩大语言模型

首尔国立大学、 SqueezeBits和成均馆大学的研究人员推出新型二值化技术“Mixture of Scales”（简称BinaryMoS），它主要用于压缩大语言模型（LLMs）。二值化是一种将模型中的权重参数转换为二进制值的方法，可以显著减少模型的大小，但传统的二值化技术会牺牲模型的语言能力。BinaryMoS通过... 阅读全文