来自微软的研究人员发布论文探讨了如何优化语言模型（LMs）的学习过程，目的是减少达到高性能所需的训练步骤。研究者们提出了一种理论，用于最佳化LMs的学习，这涉及到最大化数据压缩比，即在“LM训练作为无损压缩”的 ...... 阅读全文

这篇论文介绍了一种新型的大语言模型（LLM），称为BitNet b1.58。这种模型的核心特点是使用了1.58位的参数（或权重），这意味着每个参数只有三种可能的值：-1、0和1。这种设计不仅在保持模型性能的同时显著降低了计 ...... 阅读全文

这篇论文探讨了视频作为一种新兴的“语言”，在现实世界决策制定中的应用潜力。作者们认为，尽管文本数据在互联网上非常丰富，并且已经在大规模自监督学习中发挥了重要作用，但视频数据同样蕴含着关于物理世界的重要信 ...... 阅读全文

开发者受到英伟达Chat with RTX启发，专为苹果Silicon系列处理器的电脑打造了一款本地大模型运行工具Chat with MLX，此工具自动下载本地模型，并且可以同本地文件进行交互，支持多种语言，包括英语、西班牙语、中文 ...... 阅读全文

香港科技大学的研究人员发布论文介绍了一个名为ChatMusician的新型大语言模型（LLM），它不仅能够处理文本生成任务，还能够理解和生成音乐。ChatMusician通过持续预训练和微调LLaMA2模型，使其能够处理与文本兼容的 ...... 阅读全文

这篇论文介绍了一个名为Co-Instruct的新型视觉质量比较模型。这个模型的目标是能够对多张图片进行开放性的质量比较，提供详细的推理过程，而不仅仅是给出一个简单的质量评分。Co-Instruct模型通过比较设置（例如成对 ...... 阅读全文

英伟达发布论文介绍大型多语言语言模型Nemotron-4 15B，这个模型拥有150亿个参数，是在8万亿个文本标记上训练出来的。Nemotron-4 15B在英语、多语言和编程任务上表现出色，它在7个下游评估领域中的4个领域超过了所有 ...... 阅读全文

北京大学和字节跳动的研究人员发布论文论文介绍了一个名为MegaScale的系统，它是为了在超过10,000个GPU上训练大语言模型（LLMs）而设计的。大型语言模型是人工智能领域的一种技术，它们能够理解和生成自然语言，比如 ...... 阅读全文

Google DeepMind 、UCL、 Google Research、特拉维夫大学的研究人员发布论文探讨了大语言模型（LLMs）是否能够在处理复杂提示时潜在地执行多跳推理。多跳推理是指模型在没有直接给出推理所需信息的情况下，能够通过 ...... 阅读全文

中山大学的研究人员发布论文介绍了一个名为FUSECHAT的模型，它的目标是将多个现有的大型语言模型（LLMs）融合成一个更强大、更健壮的模型。这种融合方法可以减少从头开始训练新模型所需的高昂成本，并利用多个模型的 ...... 阅读全文

滑铁卢大学、多模式艺术投影研究社区、 早稻田大学、香港科技大学、俄亥俄州立大学、 Harmony.ai、矢量研究所的研究人员推出通用模型StructLM，它旨在提高大语言模型（LLMs）在处理结构化数据（如表格、图形和数据库 ...... 阅读全文

Meta、伦敦大学学院、牛津大学的研究人员发布论文介绍了一个名为Rainbow Teaming的方法，它是为了生成多样化的对抗性提示（adversarial prompts），以此来测试和增强大语言模型（LLMs）的鲁棒性。对抗性提示是指那些 ...... 阅读全文