清华大学、无问芯穹、斯坦福大学和上海交通大学的研究人员推出MoA（Mixture of Sparse Attention），它是一种用于自动压缩大语言模型（LLMs）的新方法。MoA的核心思想是通过稀疏注意力机制来减轻大型语言模型在处理 ...... 阅读全文

Together AI推出一种名为“Mixture-of-Agents”（MoA，即代理混合）的新颖方法，它通过结合多个大语言模型（LLMs）的集体智慧来增强单个模型的能力。例如，如果有多个专家在团队中，每个专家都有自己擅长的领域，通过 ...... 阅读全文