微软研究人员发布论文介绍了一个名为Copilot Evaluation Harness的工具，它用于评估大语言模型（LLMs）在软件开发环境中的编程辅助功能。LLMs，如OpenAI的GPT-3.5/4和Code Llama，有潜力通过作为智能、聊天驱动的编程助手来显著提高开发者的生产力。然而，直接使用这些模型可能并不... 阅读全文

这篇论文介绍了一个名为TinyLLaVA的框架，它旨在设计和分析小型的大型多模态模型（LMMs）。这些模型结合了视觉和语言处理能力，以更好地理解和生成与图像相关的文本。TinyLLaVA框架通过实验研究了不同视觉编码器、连接模块、语言模型、训练数据和训练方法对模型性能的影响。研究结果表明，通过使用高质量的数据和有效的训... 阅读全文

来自谷歌的研究人员发布名为OmniPred的框架，它旨在将语言模型（LMs）训练成通用的端到端回归器，用于处理来自不同现实世界实验的(x, y)评估数据。OmniPred利用谷歌Vizier数据库中的大量黑盒优化数据，展示了仅通过数学参数和值的文本表示，语言模型就能够进行非常精确的数值回归。如果给定机会在多个任务上进行... 阅读全文

谷歌团队发布论文介绍了一种用于扩大大语言模型（LLMs）在谷歌广告内容审核中的应用的方法。由于LLMs在内容审核方面非常强大，但其推理成本和延迟使得它们在日常大量数据集（如谷歌广告库）上的应用变得不切实际。研究团队提出了一种方法，通过筛选和去重来选择候选广告，然后为这些广告创建集群，并为每个集群选择一个代表性广告进行L... 阅读全文

来自穆罕默德·本·扎耶德人工智能大学、澳大利亚国立大学、阿尔托大学、墨尔本大学、林雪平大学的研究人员推出大型多语言多模态模型PALO（Polyglot Large Multimodal Model），PALO的目标是创建一个能够理解和生成多种语言内容的模型，以实现更包容的视语言模型（VLMs）。PALO支持10种主要语... 阅读全文

这篇论文介绍了一种名为GaussianPro的新型3D渲染技术。这项技术的核心是3D高斯溅射（3DGS），它通过在三维空间中使用高斯分布的点云来模拟场景，并利用这些点云来生成高质量的实时渲染图像。GaussianPro在3DGS的基础上进行了改进，特别是在处理大规模场景和纹理较少的区域时，能够更准确地优化3D高斯分布，... 阅读全文

这篇论文探讨了线性变换器（Linear Transformers）在上下文学习（In-Context Learning，ICL）中的潜力。研究者们发现，尽管线性变换器在结构上相对简单，但它们在处理复杂问题时表现出了惊人的能力。具体来说，线性变换器能够在其前向推理过程中隐式地执行类似于梯度下降的算法，并且能够发现并执行一... 阅读全文

加州大学伯克利分校、索尼的研究人员发布论文介绍了BeTAIL（Behavior Transformer Adversarial Imitation Learning），这是一种结合了行为变换器（Behavior Transformer，简称BeT）和对抗性模仿学习（Adversarial Imitation Learn... 阅读全文

来自加州大学圣地亚哥分校、南加州大学的研究人员推出CyberDemo，这是一种新颖的方法，它利用在模拟环境中收集的人类演示数据来学习现实世界中的灵巧操作任务。CyberDemo通过在模拟器中进行大量的数据增强，使得在转移到现实世界时，能够处理多样化的物理和视觉条件，从而超越了传统的基于真实世界演示的方法。 项目主页：h... 阅读全文

布朗大学的研究人员发布论文介绍了一个名为LexC-Gen的方法，它旨在解决低资源语言（即那些缺乏大量标注数据的语言）在自然语言处理（NLP）任务中的挑战。LexC-Gen通过使用双语词典和大型语言模型（LLMs）来生成这些语言的分类任务数据。 论文地址：https://arxiv.org/abs/2402.14086 ... 阅读全文

来自Meta的研究人员发布论文介绍了一种名为Searchformer的新型Transformer模型，它通过一种称为搜索动态引导（search dynamics bootstrapping）的方法，训练Transformer来解决复杂的规划任务。Transformer是一种深度学习模型，通常用于处理自然语言处理（NLP... 阅读全文

来自滑铁卢大学、艾伦人工智能研究所、香港科技大学的研究人员推出开源代码生成系统OpenCodeInterpreter。这个系统旨在通过结合代码执行和迭代精炼，提高代码生成的质量和实用性。它通过一个名为“CodeFeedback”的数据集进行训练，该数据集包含了68K多轮交互，模拟了用户、代码模型和编译器之间的互动。它不... 阅读全文