优惠 开放混合专家语言模型OLMoE

艾伦人工智能研究所、华盛顿大学和普林斯顿大学的研究人员推出开源、先进的语言模型OLMoE，OLMoE-1B-7B是这个系列中的一个模型，它有70亿个参数，但每个输入令牌仅使用10亿个参数。研究者们在5万亿个令牌上预训练了这个模型，并进一步调整，创建了OLMoE-1B-7B-INSTRUCT版本。这些模型在性能上超越了具... 阅读全文