Google开发了一个模仿人类阅读方式的人工智能阅读代理系统ReadAgent，它可以处理非常长的上下文 ReadAgent采用人类阅读长文本时遗忘具体信息但保留模糊要点信息的策略，来提高处理和理解长文本的效率。 就是当你面对一本厚厚的书时，你可能会只记住重要的信息，而忽略次要内容，当你需要详细信息时再回头查找。 ReadAgent就是通过模拟这种人类的阅读方式来工作的。
项目主页：https://read-agent.github.io
论文地址：https://arxiv.org/abs/2402.09727
Demo地址：https://github.com/read-agent/read-agent.github.io/blob/main/assets/read_agent_demo.ipynb
ReadAgent的设计灵感来源于人类如何交互式地阅读长文档，它通过以下几个步骤来提高处理长文本的能力：
- 分页（Episode Pagination）：ReadAgent会决定在连续文本的哪个位置暂停阅读，将这些暂停点之间的内容作为一个“页面”存储在记忆中。
- 记忆压缩（Memory Gisting）：ReadAgent会将每个页面的内容压缩成一个简短的概要（gist），这些概要被称为“gist记忆”。
- 交互式查找（Interactive Look-up）：当ReadAgent需要完成特定任务时，它会根据任务内容决定查看原始文本中的哪些页面，并将这些页面与gist记忆结合起来，以解决问题。
主要功能和特点：
- 提高上下文长度：ReadAgent能够显著提高LLMs处理长文本的有效上下文长度，实验中最高达到了20倍。
- 交互式学习：ReadAgent通过与任务相关的交互式查找，使得LLMs能够更有效地理解和回答问题。
- 无需额外训练：ReadAgent完全通过提示（prompting）一个预先训练好的LLM来实现，不需要对模型进行额外的训练或微调。
工作原理： ReadAgent的核心是一个简单的提示系统，它利用LLMs的高级语言能力来执行上述三个步骤。系统首先对长文本进行分页，然后对每个页面生成gist记忆，最后在需要时查找原始文本中的相关信息。这个过程是通过一系列精心设计的提示来实现的，这些提示指导LLMs如何执行任务。
具体应用场景：
这种技术在实际生活中有很多应用场景。例如，在新闻阅读应用中，用户可以通过阅读摘要快速了解多条新闻的大致内容，从而决定是否需要进一步阅读全文。在学术研究中，研究人员可以利用这种技术快速筛选出与自己研究相关的文献，提高研究效率。此外，在社交媒体、电子邮件、博客等领域，这种技术也能为用户提供更加便捷的信息获取方式。
0条评论