昆仑万维旗下天工AI发布大语言模型（LLM）训练技术Skywork-MoE，Skywork-MoE是一个具有1460亿参数和16个专家的高性能混合专家（Mixture-of-Experts，简称MoE）模型。这个模型是从Skywork-13B模型的密集型检查点初始化而来的。通过实验结果表明，Skywork-MoE在多个... 阅读全文

马斯克旗下 xAI正式开源了Grok-1模型，这是一个拥有3140亿参数的混合专家（Mixture-of-Experts）模型，由xAI团队从零开始训练。不过需要注意的是此模型尚未针对任何特定应用（如对话系统）进行微调，依据Apache 2.0许可证进行开源。而他们模型发布方式也比较特别，直接释出了磁力链接让大家下载。... 阅读全文