2BP

优惠 新型深度神经网络（DNN）训练方法2BP：提高大型深度神经网络（如大语言模型）在训练时的效率，特别是在多个加速器（如GPU）上并行训练时

  • 新型深度神经网络（DNN）训练方法2BP：提高大型深度神经网络（如大语言模型）在训练时的效率，特别是在多个加速器（如GPU）上并行训练时
    AI
    • 推荐人：暴走AI 标签：2BP AI
    2年前 (2024-06-01)AI
    爱丁堡大学推出一种新的深度神经网络（DNN）训练方法，称为2-Stage Backpropagation（简称2BP）。这种方法旨在提高大型深度神经网络（如大语言模型）在训练时的效率，特别是在多个加速器（如GPU）上并行训练时。论文中通过实验表明，使用2BP在训练具有70亿参数的类似LLaMa的变换器模型时，与传统方法... 阅读全文
    直达链接 好 0 不好 0 新型深度神经网络（DNN）训练方法2BP：提高大型深度神经网络（如大语言模型）在训练时的效率，特别是在多个加速器（如GPU）上并行训练时已关闭评论