阿里昨日首次宣布开源MoE技术大模型Qwen1.5-MoE-A2.7B，这个模型以现有的Qwen-1.8B模型为基础。Qwen1.5-MoE-A2.7B激活参数为2.7亿，但在一系列基准评估中可以达到7B模型的性能。此外，与7B模型相比，它在训练成本和推理速度上具有显著优势。据官方评测显示，Qwen1.5-MoE-A2.7B在与最佳的7B模型相比取得了非常接近的性能。（官方介绍）
GitHub地址：https://github.com/QwenLM/Qwen1.5
模型地址：https://huggingface.co/Qwen
0条评论