优惠训练大型语言模型新策略GaLore：解决训练过程中的显存挑战

AI

推荐人：暴走AI 标签：GaLore AI

2年前 (2024-03-09)AI

这篇论文介绍了一种名为GaLore（Gradient Low-Rank Projection）的方法，它是一种训练大型语言模型（LLMs）的策略，旨在解决训练过程中的显存挑战。随着LLMs的规模不断增长，它们的权重和优化器状态所需的内存也越来 ...... 阅读全文

直达链接好 0 不好 0 已关闭评论

优惠 ShortGPT：简化大语言模型，根据不同的需求调整删除的层数，以达到速度和性能之间的最佳平衡

AI

推荐人：暴走AI 标签：ShortGPT AI

2年前 (2024-03-09)AI

百川智能推出ShortGPT，它用于简化大语言模型（LLMs），比如我们熟知的GPT系列。随着LLMs在各种任务上的表现越来越出色，它们的规模也变得越来越大，有的甚至包含了数十亿甚至数万亿个参数。但是，这篇研究发现，LLM ...... 阅读全文

直达链接好 0 不好 0 已关闭评论

优惠 Co-LLM：教会多个大语言模型（LLM）如何协作

AI

推荐人：暴走AI 标签：Co-LLM AI

2年前 (2024-03-09)AI

这篇论文介绍了一种名为Co-LLM（Collaborative Language Model）的方法，它教会多个大语言模型（LLM）如何协作。假设我们有一个任务是回答医学问题。Co-LLM可以让一个通用的大型语言模型（比如LLAMA-7B）生成问题的 ...... 阅读全文

直达链接好 0 不好 0 已关闭评论

优惠专门为法律领域设计的大语言模型SaulLM-7B

AI

推荐人：暴走AI 标签：SaulLM-7B AI

2年前 (2024-03-09)AI

这篇论文介绍了一个名为SaulLM-7B的大语言模型（LLM），它是专门为法律领域设计的。SaulLM-7B拥有70亿个参数，是第一个明确为法律文本理解和生成而设计的LLM。这个模型基于Mistral 7B架构，训练于一个超过300亿个tok ...... 阅读全文

直达链接好 0 不好 0 已关闭评论

优惠新型视觉模仿学习方法3D Diffusion Policy (DP3)：结合3D视觉表示和扩散策略，使得机器人能够在模拟和现实世界任务中高效地学习复杂技能

AI

推荐人：暴走AI 标签：3D Diffusion Policy 视觉模仿学习方法 AI

2年前 (2024-03-09)AI

来自上海启智研究院、上海交通大学、清华大学、上海人工智能实验室的研究人员推出新型视觉模仿学习方法3D Diffusion Policy (DP3)，这种方法通过结合3D视觉表示和扩散策略，使得机器人能够在模拟和现实世界任务中高 ...... 阅读全文

直达链接好 0 不好 0 已关闭评论

优惠新型3D高斯点云模型X-Gaussian：用于X射线（X光）新视角合成（NVS）

AI

推荐人：暴走AI 标签：X-Gaussian AI

2年前 (2024-03-09)AI

约翰·霍普金斯大学、香港科技大学（广州）、上海交通大学的研究人员推出新型3D高斯点云模型X-Gaussian，它用于X射线（X光）新视角合成（NVS）。X射线在医学成像等领域广泛应用，因为它能比自然光更深入地穿透物体。 ...... 阅读全文

直达链接好 0 不好 0 已关闭评论

优惠视觉-语言模型（VLMs）在RPMs智力测试表现如何

AI

推荐人：暴走AI 标签：视觉-语言模型 AI

2年前 (2024-03-09)AI

来自苹果的研究人员发布论文探讨了视觉-语言模型（VLMs）在视觉推理任务上的表现，特别是针对一种名为雷文进阶矩阵（Raven's Progressive Matrices，简称RPMs）的智力测试。RPMs是一种经典的智力测试工具，它要求参 ...... 阅读全文

直达链接好 0 不好 0 已关闭评论

优惠微软新研究模拟试错（STE）法：使7B大模型测试成绩超GPT-4

AI

推荐人：暴走AI 标签：STE 微软 AI

2年前 (2024-03-09)AI

微软和俄亥俄州立大学的研究人员发布论文，提出了一种受到生物启发的可以增强大语言模型使用工具能力的方法，即模拟试错（STE）法，并将其开源。该方法协调了试错、想象和记忆三个关键机制。ToolBench实验结果显示， ...... 阅读全文

直达链接好 0 不好 0 已关闭评论

优惠零一万物宣布开源Yi-9B模型

AI

推荐人：暴走AI 标签：Yi-9B 零一万物 AI

2年前 (2024-03-09)AI

国内大模型独角兽零一万物宣布开源Yi-9B模型，Yi-9B的实际参数为8.8B，默认上下文长度是4K tokens。零一万物公布的数据显示，在综合能力方面（Mean-All），Yi-9B 的性能超越了DeepSeek-Coder、DeepSeek-Math、Mistra ...... 阅读全文

直达链接好 0 不好 0 已关闭评论

优惠如何通过强化学习来提升大语言模型的推理能力

AI

推荐人：暴走AI 标签：大语言模型 AI

2年前 (2024-03-09)AI

这篇论文探讨了如何通过强化学习（Reinforcement Learning, RL）来提升大语言模型（Large Language Models, LLMs）的推理能力。研究者们尝试了多种RL算法，包括专家迭代（Expert Iteration, EI）、近端策略优化（Pro ...... 阅读全文

直达链接好 0 不好 0 已关闭评论