新型基准测试BABILong，它专门用来评估大语言模型（LLMs）处理超长文本上下文的能力。想象一下，你有一款智能助手，它需要阅读一篇非常长的文档，然后根据文档内容回答一些非常具体的问题。但是，文档中只有一小部分信息是真正需要用来回答问题的，其余的都是干扰信息。BABILong就是用来测试智能助手是否能够准确地从海量文... 阅读全文

新基准测试BABILong旨在评估自然语言处理（NLP）模型处理长文档和分布式事实的能力。BABILong通过在大量文本中“隐藏”问题和答案，模拟了在大量无关信息中寻找关键信息的场景，这对于模型来说是一个挑战。论文还介绍了一种名为Recurrent Memory Transformer（RMT）的模型，它通过增强循环记... 阅读全文