OpenLLMAI 团队推出基于 Ray、DeepSpeed 和 HF Transformers 构建的高性能 RLHF 框架OpenRLHF，它是一个用于训练大语言模型（LLM）的高效、可扩展且高性能的强化学习从人类反馈（RLHF）框架。RLHF是一种通过人类反馈来指导机器学习模型的训练方法，它在大型语言模型的训练中... 阅读全文

华为推出高效Transformer模型SLAB，旨在解决传统Transformer架构在资源受限设备上部署时面临的高计算成本问题。通过改进模型的注意力机制和归一化层，SLAB能够在保持性能的同时减少计算量和提高运行速度。例如，我们需要在一个移动设备上部署一个图像分类模型，该设备计算资源有限。使用传统的Transform... 阅读全文

杭州电子科技大学推出轻量级大型多模态模型Imp，它旨在为移动设备等资源受限的场景提供强大的人工智能能力。Imp模型利用了大语言模型（LLMs）的能力，通过系统的研究和优化，在保持模型规模较小（例如2B到4B参数）的同时，实现了与更大模型相媲美的性能。例如，你正在开发一个移动应用程序，该应用程序需要帮助用户识别植物并提供... 阅读全文

来自北京航空航天大学和微软的研究人员推出一种新的高效微调（Fine-tuning）方法MoRA，用于大语言模型（LLMs）。微调是一种技术，可以让已经预训练好的模型适应特定的下游任务，而MoRA旨在以更少的参数实现这一过程，从而提高效率。例如，我们有一个已经预训练好的大型语言模型，现在需要让它能够更好地处理金融领域的文... 阅读全文

加州大学伯克利分校、斯坦福大学、卡内基梅隆大学和谷歌DeepMind推出开源通用机器人策略模型Octo，Octo基于transformer架构，并通过在800,000个多样化的机器人操作轨迹上进行预训练，这些轨迹来自Open X-Embodiment数据集。这个模型的特点是支持灵活的任务定义和观察方式，并且能够快速适应... 阅读全文

爱丁堡大学、微软研究院、日内瓦大学的研究人员推出新型强化学习（Reinforcement Learning, RL）智能体DIAMOND（DIffusion As a Model Of eNvironment Dreams），它在一个基于扩散模型的世界模型中接受训练。扩散模型是一种用于图像生成的先进方法，它通过学习逆向... 阅读全文

Adobe Research推出一种使用文本到图像扩散模型进行高效概念驱动生成的方法，即个性化残差和基于局部注意力的引导采样。它通过训练一个预设的文本条件扩散模型，学习模型部分层的小秩残差（low-rank residuals），来实现高效的概念驱动生成。简单来说，就是教会一个计算机程序，如何根据用户输入的文字描述（比... 阅读全文

AIRI、Skoltech、SberAI、HSE 大学、莫斯科国立罗蒙诺索夫大学的研究人员发布论文，主题是探索Transformer解码器中的线性特性，尤其是像GPT、LLaMA、OPT、BLOOM等模型。Transformer模型在自然语言处理（NLP）领域取得了革命性的进展，但它们的内部工作机制仍然不完全清楚。这项... 阅读全文

MIT的研究人员发布论文，主题是关于如何减少Transformer模型中关键值（Key-Value，KV）缓存的大小。Transformer模型是当前自然语言处理（NLP）领域非常流行的一种模型，它在处理大语言模型（LLMs）时，解码速度很快，但需要大量的内存来存储KV缓存，这在处理长序列和大批量数据时尤其成问题。 主... 阅读全文

腾讯云宣布旗下 AI 代码助手现已开放免费限时公测，目前开发者、开发团队、企业客户可以通过腾讯云官网在线体验。AI 代码助手是腾讯云自研的一款编程提效辅助工具，以插件形式安装到编辑器（VSCode 或者 JetBrian 系列 IDE）中辅助编程。AI 代码助手可提供自动补全代码、根据注释生成代码、代码解释、生成测试代... 阅读全文

今日，百川智能正式推出了最新一代基座大模型Baichuan 4。与前一代Baichuan 3相比，Baichuan 4在各项能力上均有显著提升，通用能力提升超过10%，数学和代码能力分别提升了14%和9%。在国内知名大模型评测机构SuperCLUE的评测中，Baichuan 4的模型能力位居国内第一。Baichuan ... 阅读全文

米哈游官方宣布，将在近期推出官方启动器，为玩家提供一个统一的入口来体验旗下多款热门PC平台游戏。目前，米哈游启动器官网已正式上线，尽管下载功能尚未开放，但玩家可以期待不久后的正式发布。在《崩坏3》游戏官网，玩家已经可以直接下载米哈游启动器。 启动器功能概览 版本信息：启动器当前版本为1.0.5.88。 自启动功能：支持... 阅读全文