优惠 用于初始化大型深度学习模型！新型深度学习模型参数预测方法LOGAH

这篇论文的主题是关于一种新型的深度学习模型参数预测方法，称为LOGAH（Low-rank GrAph Hypernetworks），它用于初始化大型深度学习模型，特别是拥有数亿参数的Transformer模型，如视觉Transformer（ViT）和生成式预训练Transformer（GPT-2）。这种方法旨在帮助研究... 阅读全文