优惠 可学习剪枝方法MaskLLM：通过在大语言模型中建立半结构化（或“N:M”）稀疏性来减少推理过程中的计算开销

英伟达和新加坡国立大学的研究人员推出可学习剪枝方法MaskLLM，旨在通过在大语言模型中建立半结构化（或“N:M”）稀疏性来减少推理过程中的计算开销。MaskLLM不采用新的重要性标准，而是通过Gumbel Softmax采样将N:M模式显式建模为可学习的分布。这种方法促进了对大规模数据集的端到端训练，并具有两个显著优... 阅读全文