韩国科学技术研究院和三星研究院的研究人员发布论文，论文的主题是探讨如何提升语言模型在规划任务中的性能，特别是那些需要多步骤模拟的复杂规划任务。研究者们从人类的认知过程获得灵感，提出了一种新的方法，通过 ...... 阅读全文

耶路撒冷希伯来大学和巴伊兰大学的研究人员发布论文，论文的主题是关于如何提升语言模型在视觉常识推理方面的能力。简单来说，就是教会计算机如何更好地理解图片，并结合文字信息来做出更准确的判断。论文中提出的方 ...... 阅读全文

麻省理工的研究人员发布论文，论文的主题是探讨语言模型是否仅使用一维特征来处理和理解语言，还是它们也利用了多维特征。我们可以通过一个简单的比喻来理解这个问题：想象一下，你有一张城市的地图，这张地图上的所 ...... 阅读全文

来自厦门大学、清华大学和微软的研究人员推出语言模型RHO-1，它的设计理念是“并非所有的词汇对于语言模型训练都同等重要”。RHO-1挑战了传统的语言模型训练方法，后者通常会对所有训练词汇应用相同的预测下一个词汇的 ...... 阅读全文

这篇论文探讨了自深度学习出现以来，预训练语言模型算法的进步速度。研究者们收集了2012年至2023年间200多个语言模型在Wikitext和Penn Treebank数据集上评估的数据，发现为了达到一定的性能阈值，所需的计算资源大约 ...... 阅读全文

这篇论文探讨了即使是中等规模的通用语言模型（如LLaMA-2 7B）在数学问题解决方面也表现出了强大的能力。研究者们发现，尽管这些模型在随机生成答案时准确率不高，但通过从256个随机生成的答案中选择最佳答案，它们 ...... 阅读全文

Google DeepMind研究人员发布论文介绍了两种新型的神经网络模型，名为Hawk和Griffin，它们旨在提高语言模型在处理长序列数据时的效率。它们结合了循环神经网络（RNN）和注意力机制的特点，以实现快速推理和有效扩展 ...... 阅读全文

这篇论文介绍了一种名为“Based”的新型语言模型架构，它旨在提高语言模型的效率，尤其是在处理长序列数据时。这种模型试图在保持高质量输出的同时，减少计算资源的消耗，特别是在内存使用和推理速度方面。假设我们正 ...... 阅读全文

来自微软的研究人员发布论文探讨了如何优化语言模型（LMs）的学习过程，目的是减少达到高性能所需的训练步骤。研究者们提出了一种理论，用于最佳化LMs的学习，这涉及到最大化数据压缩比，即在“LM训练作为无损压缩”的 ...... 阅读全文