TNGD

优惠 新型神经网络训练方法——热力学自然梯度下降(TNGD)

  • 新型神经网络训练方法——热力学自然梯度下降(TNGD)
    AI
  • Normal Computing推出一种新型的神经网络训练方法——热力学自然梯度下降(Thermodynamic Natural Gradient Descent,简称TNGD)。这种方法试图解决大规模神经网络训练中的一个主要问题:计算效率。通常,第二梯度方法(考虑了损失函数曲面的曲率信息)在理论上具有更好的收敛性,但... 阅读全文