DBRX

优惠 Databricks正式发布全新开源模型DBRX,轻松击败LLaMA2-70B、Mixtral和Grok-1

  • Databricks正式发布全新开源模型DBRX,轻松击败LLaMA2-70B、Mixtral和Grok-1
    AI
  • Databricks在今天正式发布了全新的开源模型DBRX,这款模型凭借其卓越的性能和前沿的架构设计,有望成为当下最强大的开源模型之一。 模型架构: DBRX采用了132B参数的MoE模型设计,其中包含16个专家。每个Token能够激活4个专家,这意味着在实际运行中,模型有36B的活跃参数。与之相比,Mixtral仅有... 阅读全文