Unsloth是一款引人注目的创新框架，它简化了语言模型的微调流程，并提供了一种直接有效的方法来提升模型性能。该框架与诸如Mistral、Llama 2.0和Gemma等广受欢迎的开源大语言模型（LLM）完美融合，为自然语言处理领 ...... 阅读全文

这篇论文探讨了大语言模型（LLMs）的持续预训练策略。大语言模型是人工智能领域的一个重要组成部分，它们通过学习大量文本数据来理解和生成人类语言。例如，当你使用智能助手或搜索引擎时，背后的技术可能就是一个语 ...... 阅读全文

这篇论文探讨了如何通过强化学习（Reinforcement Learning, RL）来提升大语言模型（Large Language Models, LLMs）的推理能力。研究者们尝试了多种RL算法，包括专家迭代（Expert Iteration, EI）、近端策略优化（Pro ...... 阅读全文

继英伟达发布Chat with RTX后！AMD联合LM Studio推出专属AMD ROCm技术的LM Studio版本，用户现在可以在其平台上本地化运行开源大语言模型（LLM），并构建专属的AI聊天机器人。这一功能支持具有XDNA NPU的Ryzen 7000/ ...... 阅读全文

来自蒙特利尔大学、魁北克人工智能研究所、华为诺亚方舟实验室的研究人员发布论文介绍了一种名为RESONANCE RoPE（共振旋转位置编码）的技术，它旨在改善大语言模型（LLMs）在处理长文本时的性能。在训练时，模型通常 ...... 阅读全文

非盈利机构 AllenAI 正式推出完全开源的大语言模型 OLMo，此次开源不仅有模型还包括完整的训练代码、数据集和评估代码，官方宣布通过开放研究来加速语言模型科学的发展。首次发布的内容包括四个参数规模达到 70 亿的 ...... 阅读全文

华南理工与合合信息团队联合发布了一篇深度解析论文，聚焦大语言模型（LLM）所需的数据集现状与发展趋势。他们从五大关键方面梳理了LLM数据集资源： 1️⃣ 预训练语料库：奠定LLM语言学习基础的大规模文本集合。 2️⃣  ...... 阅读全文

Meta AI发布论文介绍了一种名为“Priority Sampling”的新技术，它用于提高大语言模型（LLMs）在编译器中的性能。大语言模型是一种人工智能技术，可以理解和生成自然语言，甚至编程语言的代码。假设你正在开发一个程序 ...... 阅读全文

谷歌研究人员发布论文探讨了大语言模型（LLMs）在微调（finetuning）过程中的缩放特性，特别是在不同因素（如模型大小、预训练数据量、微调参数量和微调数据量）的影响下，微调性能如何变化。研究团队通过系统实验， ...... 阅读全文

这篇论文介绍了一种名为Dual Chunk Attention（DCA）的新方法，它旨在帮助大语言模型（LLMs）处理和生成更长文本内容，而不需要额外的训练。想象一下，你有一个能够聊天的机器人，但这个机器人在处理很长的对话或者 ...... 阅读全文

Google DeepMind 、UCL、 Google Research、特拉维夫大学的研究人员发布论文探讨了大语言模型（LLMs）是否能够在处理复杂提示时潜在地执行多跳推理。多跳推理是指模型在没有直接给出推理所需信息的情况下，能够通过 ...... 阅读全文

滑铁卢大学、多模式艺术投影研究社区、 早稻田大学、香港科技大学、俄亥俄州立大学、 Harmony.ai、矢量研究所的研究人员推出通用模型StructLM，它旨在提高大语言模型（LLMs）在处理结构化数据（如表格、图形和数据库 ...... 阅读全文