MaskLLM

优惠 可学习剪枝方法MaskLLM：通过在大语言模型中建立半结构化（或“N:M”）稀疏性来减少推理过程中的计算开销

  • 可学习剪枝方法MaskLLM：通过在大语言模型中建立半结构化（或“N:M”）稀疏性来减少推理过程中的计算开销
    AI
    • 推荐人：暴走AI 标签：MaskLLM AI
    1年前 (2024-09-29)AI
    英伟达和新加坡国立大学的研究人员推出可学习剪枝方法MaskLLM，旨在通过在大语言模型中建立半结构化（或“N:M”）稀疏性来减少推理过程中的计算开销。MaskLLM不采用新的重要性标准，而是通过Gumbel Softmax采样将N:M模式显式建模为可学习的分布。这种方法促进了对大规模数据集的端到端训练，并具有两个显著优... 阅读全文
    直达链接 好 0 不好 0 可学习剪枝方法MaskLLM：通过在大语言模型中建立半结构化（或“N:M”）稀疏性来减少推理过程中的计算开销已关闭评论