来自上海交通大学、上海人工智能实验室、复旦大学、马里兰大学帕克分校等研究人员提出一种新方法REALIGN，旨在提升大语言模型（LLMs）与人类价值观的一致性。REALIGN的核心思想是通过改进现有指令数据的质量，而不是从头开始创建新的数据集。这种方法通过三个主要步骤来实现：定义标准、增强检索和重新格式化响应。REALIGN的目标是减少人工标注的需求，同时减少LLMs生成的幻觉内容，并且与现有的对齐技术保持正交。
项目主页：https://gair-nlp.github.io/ReAlign
GitHub地址：https://github.com/GAIR-NLP/ReAlign
大语言模型（LLMs）的价值观对齐对于其质量和应用至关重要。实验结果显示，REALIGN显著提高了LLMs的通用对齐能力、数学推理能力、事实准确性和可读性。具体来说，通过仅重新格式化响应，LLaMA-2-13B在GSM8K上的数学推理能力从46.77%提高到了56.63%。此外，仅使用5%的REALIGN数据，即可将Alpaca数据集上的通用对齐能力提高67%。此项研究强调了进一步探索LLMs科学和机理可解释性的必要性。相关代码和数据已公开，以支持未来的研究。
主要功能：
- 提高LLMs在遵循指令、数学推理、事实性和可读性方面的表现。
- 通过改进现有数据集，而不是创建新数据集，来提升模型的对齐能力。
主要特点：
- 定义标准：人类定义各种场景下的偏好，如响应的格式。
- 增强检索：为知识密集型任务（如开放领域问答和事实验证）提供额外的信息，以提高响应的事实性和信息量。
- 重新格式化：根据预定义的标准和收集的证据，重新调整响应，确保输出结构化且有依据。
工作原理：
- 定义标准：首先，人类定义任务和响应格式的标准。
- 增强检索：对于知识密集型任务，使用搜索引擎API（如Google Search API）检索相关信息作为证据。
- 重新格式化：利用LLMs（如ChatGPT）根据给定的格式和检索到的证据重新编写响应。对于非知识密集型任务，可能只部分重写；对于知识密集型任务，还会结合检索到的证据。
具体应用场景：
- 教育：REALIGN可以用于改进教育领域的对话系统，使其更好地遵循教学指导和提供准确的数学解题步骤。
- 客户服务：在客户服务中，REALIGN可以帮助构建更清晰、更专业的电子邮件模板，提高客户满意度。
- 内容创作：在内容创作领域，REALIGN可以用于生成更符合特定格式要求的文章、故事或诗歌。
- 知识问答：REALIGN可以提升问答系统的事实性和准确性，特别是在处理复杂问题时。
REALIGN方法通过这些步骤，能够在不引入额外数据或高级训练技术的情况下，显著提升LLMs的性能，特别是在数学推理能力上，如在GSM8K测试集上的准确率提升。此外，REALIGN只需要少量数据就能显著提升模型的一般对齐能力，这表明只需要少量经过精心格式化的数据，就能让模型学会正确的风格和格式。
0条评论