谷歌推出新型神经网络架构TransformerFAM，它是为了解决大语言模型（LLMs）处理极长输入序列时的挑战而设计的。例如，你有一个非常长的故事，需要一个能够记住故事中所有细节的超级大脑。传统的神经网络（比如Transf ...... 阅读全文

来自Meta、南加州大学、卡内基梅隆大学 和加州大学圣地亚哥分校的研究人员推出新型神经网络架构MEGALODON，它是为了更高效地处理长序列数据而设计的。想象一下，你有一个非常长的故事，需要一个能够记住故事中所有细 ...... 阅读全文

香港科技大学和腾讯的研究人员发布论文探讨了压缩能力和智能之间的关系。作者提出了一个问题：如果一个语言模型能够以更少的比特无损地压缩文本，这是否意味着它具有更高的智能？为了回答这个问题，论文对大语言模型 ...... 阅读全文

来自香港城市大学、密苏里大学堪萨斯城分校和岭南大学的研究人员推出新型3D场景表示方法CompGS（压缩高斯点渲染），高斯点渲染（Gaussian Splatting）是一种在3D图形学中用于渲染质量出众且效率很高的技术，它通过将 ...... 阅读全文

高通发布论文探讨了如何提高多模态大语言模型（MLLMs）推理（inference）效率的问题。MLLMs是一类能够处理包括文本和图像在内的多种模态数据的模型，它们在现实世界中非常有用，因为我们的数据通常包含多种形式，如 ...... 阅读全文

华为推出多模态大语言模型TextHawk，它专门设计用于处理文档导向的任务，同时保持了处理多种模态任务的通用能力。TextHawk在处理文档图像时表现出色，这些图像通常包含高分辨率和高信息密度，这对于传统的语言模型来 ...... 阅读全文

斯坦福大学人类中心人工智能研究所发布《2024人工智能指数报告》，这已经是该研究所第七年发布《人工智能指数报告》，2024年版指数报告是该研究所迄今为止最为全面的报告，它诞生于人工智能对社会影响日益凸显的重要 ...... 阅读全文

aiXcoder开源了aiXcoder 7B Base模型，该模型在1.2T唯一标记数据上进行了广泛训练，其预训练任务以及上下文信息均针对现实世界中的代码生成场景进行了精心设计。在与其他参数大小相近的模型比较中，aiXcoder 7B Base ...... 阅读全文

CodeTF是一个基于Python的Transformer一站式库，专为代码大语言模型（Code LLMs）和代码智能任务而设计。它提供了无缝的训练和推理接口，可应用于代码摘要生成、翻译、代码生成等任务。该库旨在促进SOTA CodeLLMs轻 ...... 阅读全文

llm.c是一个使用简单、纯粹的C/CUDA进行大语言模型训练的开源项目，无需庞大的245MB PyTorch或107MB cPython依赖。例如，GPT-2（CPU，fp32）的训练仅需要单个文件中约1000行的简洁代码。该代码能够立即编译并运行， ...... 阅读全文

Morphic是一个开源的AI搜索引擎，你可以借助于Vercel AI SDK快速部署，设置 OpenAI APIh后就可以使用。 ...... 阅读全文

北京人工智能研究院、南洋理工大学、北京大学计算机学院的研究人员发布论文，详细介绍了训练AI玩《荒野大镖客2：救赎》所面临的挑战，并对其在游戏中的表现进行了评估和评述。在题为《迈向通用计算机控制：以《荒野 ...... 阅读全文