AI
标签：Inheritune
AI
2年前 (2024-04-15)AI
德克萨斯大学奥斯汀分校的研究人员推出简单方法Inheritune，用于从现有的大型基础语言模型（LM）中开发小型基础语言模型。这种方法的核心思想是：首先从大型LM中继承几个变压器块（层），然后在非常小的数据集（例如 ...... 阅读全文
