优惠 开放混合专家语言模型OLMoE

艾伦人工智能研究所、华盛顿大学和普林斯顿大学的研究人员推出开源、先进的语言模型OLMoE，OLMoE-1B-7B是这个系列中的一个模型，它有70亿个参数，但每个输入令牌仅使用10亿个参数。研究者们在5万亿个令牌上预训练了 ...... 阅读全文