Scale AI发布论文，论文的主题是关于大语言模型（Large Language Models，简称LLMs）在小学数学问题上的表现。研究人员们对这些模型进行了仔细的考察，特别是它们在解决数学问题时是否真正具备推理能力，还是仅仅因 ...... 阅读全文

亚马逊发布关于如何提高大语言模型（LLMs）在生成文本时的效率和速度的论文。大语言模型是一种人工智能技术，它能够理解和生成人类语言，被广泛应用于各种场景，比如自动翻译、写作辅助、聊天机器人等。但是，这些模 ...... 阅读全文

北京人工智能研究院、中国电信股份有限公司人工智能研究院（TeleAI）和新加坡南洋理工大学计算机科学与工程学院的研究人员推出开源多语言大语言模型Tele-FLM（也称为FLM-2），Tele-FLM在语言理解和生成方面展现了卓 ...... 阅读全文

来自西安交通大学、微软和北京大学的研究人员发布关于如何改善大语言模型（LLMs）在处理长文本输入时的信息利用问题的论文，特别是解决所谓的“中间丢失”（lost-in-the-middle）挑战。这个问题指的是模型在处理长文本 ...... 阅读全文

伊利诺伊大学厄巴纳-香槟分校、Cohere 和普林斯顿大学的研究人员推出新技术SnapKV，，它是为了解决大语言模型（LLMs）在处理长文本输入时遇到的性能和内存效率问题。大型语言模型在生成文本时，会使用一种名为“键值 ...... 阅读全文

香港科技大学和腾讯的研究人员发布论文探讨了压缩能力和智能之间的关系。作者提出了一个问题：如果一个语言模型能够以更少的比特无损地压缩文本，这是否意味着它具有更高的智能？为了回答这个问题，论文对大语言模型 ...... 阅读全文

来自亚利桑那大学和克卢日·纳波卡技术大学的研究人员发布论文探讨了大型预训练语言模型（如Llama2、GPT-4、Claude 3等）在没有经过额外训练或梯度更新的情况下，仅通过上下文示例进行线性和非线性回归任务的能力。简 ...... 阅读全文

加州大学伯克利分校的研究人员推出新技术LLoCO（Learning Long Contexts Offline），旨在解决大语言模型（LLMs）处理长文本时遇到的挑战。由于自注意力机制的计算和内存开销随序列长度增加而呈二次方增长，以及生成 ...... 阅读全文

来自香港大学、上海人工智能实验室和清华大学深圳国际研究生院的研究人员发布论文探讨了如何将原本设计用于大型语言模型（LLMs）的解码器（Decoder）结构，如LLaMA，适配到计算机视觉领域。想象一下，你有一个能够理 ...... 阅读全文

这篇论文介绍了一个名为MuPT（Music Pretrained Transformer）的模型，它是一个专门用于生成符号音乐的大型语言模型。符号音乐是指用特定的符号系统（如ABC记谱法）来表示的音乐，这种表示方法更接近于人类阅读和理 ...... 阅读全文

这篇论文的主题是“SambaLingo”，这是一个针对大型语言模型（LLMs）进行多语言适应性调整的研究项目。简单来说，SambaLingo的目标是让大型语言模型能够理解和生成更多不同语言的文本，弥补目前LLMs在多种语言能力上的 ...... 阅读全文

图宾根大学图宾根人工智能中心和微软搜索团队发布论文探讨大语言模型（Large Language Models，简称LLMs）在处理表格数据时的记忆力和学习能力。用通俗的语言来说，就像是研究一个学习了很多知识的智能助手，当它遇 ...... 阅读全文