Meta、伦敦大学学院、牛津大学的研究人员发布论文介绍了一个名为Rainbow Teaming的方法，它是为了生成多样化的对抗性提示（adversarial prompts），以此来测试和增强大语言模型（LLMs）的鲁棒性。对抗性提示是指那些 ...... 阅读全文

巴伊兰大学、艾伦人工智能研究所的研究人员发布论文探讨了大语言模型（LLMs）在处理不同长度输入时的表现，特别是它们在处理长文本时的推理能力。尽管LLMs在许多任务上取得了显著进展，但它们在不同输入长度下的性能 ...... 阅读全文

Meta、巴黎综合理工学院的研究人员发布论文探讨了一个有趣的概念，即“放射性”（radioactivity）在大语言模型（LLMs）生成的文本中的表现。这里的“放射性”指的是，当一个模型（我们称之为Alice的模型）的输出被用作另 ...... 阅读全文

这篇论文的主题是关于如何在移动设备上高效使用大语言模型（LLMs）。随着云计算成本的增加和对延迟的担忧，移动设备上的大型语言模型变得越来越重要。论文的重点是设计拥有不到十亿参数的高质量大型语言模型，这对于 ...... 阅读全文

来自苹果和密歇根大学的研究人员发布论文探讨了如何有效地从大语言模型（LLMs）中提取和压缩推理任务的关键部分。作者提出了一种策略，将复杂推理任务分解为问题分解阶段和问题解决阶段，并展示了这种两阶段策略能够 ...... 阅读全文

微软发布论文介绍了一种名为ChunkAttention的新方法，它旨在提高大语言模型（LLMs）在处理长序列时的自注意力（self-attention）模块的效率。自注意力是LLMs的核心组成部分，但在推理长序列时会导致显著的延迟。Chun ...... 阅读全文

微软研究人员发布论文介绍了一个名为Copilot Evaluation Harness的工具，它用于评估大语言模型（LLMs）在软件开发环境中的编程辅助功能。LLMs，如OpenAI的GPT-3.5/4和Code Llama，有潜力通过作为智能、聊天驱动的编 ...... 阅读全文

来自微软的研究人员发布论文介绍了一种名为LongRoPE的技术，它能够显著扩展大语言模型（LLMs）的上下文窗口，达到了2048k个标记的惊人长度。这是首次实现这样的扩展，同时在保持原始短上下文窗口性能的同时，只需要1 ...... 阅读全文

这篇论文介绍了一种名为Ouroboros的新型解码框架，它旨在加速大语言模型（LLMs）的推理过程。Ouroboros通过一种称为“推测性解码”的方法，使用一个小型模型快速生成草稿，然后利用大型模型进行验证和修正，以减少时间 ...... 阅读全文

来自马里兰大学帕克分校的研究人员发布论文探讨了大语言模型（LLMs）在面对对抗性攻击时的脆弱性。对抗性攻击是指故意设计输入，以诱导模型产生非预期或有害的输出。论文的主要目的是扩展我们对LLMs对抗性攻击的理解 ...... 阅读全文

来自复旦大学的研究人员推出一种基于多智能体协作的大语言模型（LLM）扩展方法LONGAGENT，LONGAGENT的目标是解决大语言模型在处理长文本时遇到的高昂训练成本和推理延迟问题。通过这种方法，大语言模型能够处理超过1 ...... 阅读全文

来自Meta 、、乔治亚理工学院、StabilityAI的研究人员提出了一种名为“Stepwise ORMs (SORMs)”的方法，旨在提高大语言模型（LLMs）在解决数学、科学或编程问题时的推理能力这是一种在合成数据上训练的模型，用于更准 ...... 阅读全文