优惠 新型预训练方法“指令预训练（Instruction Pre-Training）”：通过在原始语料库中加入指令-响应对来增强传统的语言模型的预训练过程

微软研究院和清华大学的研究人员推出一种新型的预训练方法，名为“指令预训练”（Instruction Pre-Training），这种方法通过在原始语料库中加入指令-响应对来增强传统的语言模型（LMs）的预训练过程。指令-响应对是由一个高效的指令合成器生成的，该合成器基于开源模型构建。论文的实验结果表明，指令预训练在多种... 阅读全文