Rufus 4.5.2180 版本的发布标志着这款广受好评的可启动媒体创建工具的重大更新，带来了多项增强功能与修复，确保用户能够更安全、高效地制作和使用启动盘。以下是此次更新的关键亮点： 实时UEFI引导加载器散列验证：新版本通过引入MD5算法校验和，实现在每次启动时进行自我验证，提高了引导过程的安全性，确保介质未被篡... 阅读全文

PowerToys v0.81.0 新增了一个带 AI 的高级粘贴（Advanced Paste）功能，它可以根据剪贴板内容以及提交给 AI 的提示词来决定最终粘贴的内容，需要 OpenAI API 密钥，还能直接将文本粘贴为 JSON、Markdown、纯文本。@Appinn Advanced Paste 实际上提供... 阅读全文

来自英国杜伦大学、英国纽卡斯尔大学、中国地质大学的研究人员推出Dreamer XL，它用于将文本转换为高分辨率的3D模型。这项技术的目标是通过改进现有的文本到3D生成过程，生成更加逼真和详细的3D内容。例如，你想要创建一个虚拟现实游戏的环境，或者需要在建筑演示中展示一个新设计的建筑物。使用Dreamer XL，你只需提... 阅读全文

OpenLLMAI 团队推出基于 Ray、DeepSpeed 和 HF Transformers 构建的高性能 RLHF 框架OpenRLHF，它是一个用于训练大语言模型（LLM）的高效、可扩展且高性能的强化学习从人类反馈（RLHF）框架。RLHF是一种通过人类反馈来指导机器学习模型的训练方法，它在大型语言模型的训练中... 阅读全文

华为推出高效Transformer模型SLAB，旨在解决传统Transformer架构在资源受限设备上部署时面临的高计算成本问题。通过改进模型的注意力机制和归一化层，SLAB能够在保持性能的同时减少计算量和提高运行速度。例如，我们需要在一个移动设备上部署一个图像分类模型，该设备计算资源有限。使用传统的Transform... 阅读全文

杭州电子科技大学推出轻量级大型多模态模型Imp，它旨在为移动设备等资源受限的场景提供强大的人工智能能力。Imp模型利用了大语言模型（LLMs）的能力，通过系统的研究和优化，在保持模型规模较小（例如2B到4B参数）的同时，实现了与更大模型相媲美的性能。例如，你正在开发一个移动应用程序，该应用程序需要帮助用户识别植物并提供... 阅读全文

来自北京航空航天大学和微软的研究人员推出一种新的高效微调（Fine-tuning）方法MoRA，用于大语言模型（LLMs）。微调是一种技术，可以让已经预训练好的模型适应特定的下游任务，而MoRA旨在以更少的参数实现这一过程，从而提高效率。例如，我们有一个已经预训练好的大型语言模型，现在需要让它能够更好地处理金融领域的文... 阅读全文

加州大学伯克利分校、斯坦福大学、卡内基梅隆大学和谷歌DeepMind推出开源通用机器人策略模型Octo，Octo基于transformer架构，并通过在800,000个多样化的机器人操作轨迹上进行预训练，这些轨迹来自Open X-Embodiment数据集。这个模型的特点是支持灵活的任务定义和观察方式，并且能够快速适应... 阅读全文

爱丁堡大学、微软研究院、日内瓦大学的研究人员推出新型强化学习（Reinforcement Learning, RL）智能体DIAMOND（DIffusion As a Model Of eNvironment Dreams），它在一个基于扩散模型的世界模型中接受训练。扩散模型是一种用于图像生成的先进方法，它通过学习逆向... 阅读全文

Adobe Research推出一种使用文本到图像扩散模型进行高效概念驱动生成的方法，即个性化残差和基于局部注意力的引导采样。它通过训练一个预设的文本条件扩散模型，学习模型部分层的小秩残差（low-rank residuals），来实现高效的概念驱动生成。简单来说，就是教会一个计算机程序，如何根据用户输入的文字描述（比... 阅读全文

AIRI、Skoltech、SberAI、HSE 大学、莫斯科国立罗蒙诺索夫大学的研究人员发布论文，主题是探索Transformer解码器中的线性特性，尤其是像GPT、LLaMA、OPT、BLOOM等模型。Transformer模型在自然语言处理（NLP）领域取得了革命性的进展，但它们的内部工作机制仍然不完全清楚。这项... 阅读全文

MIT的研究人员发布论文，主题是关于如何减少Transformer模型中关键值（Key-Value，KV）缓存的大小。Transformer模型是当前自然语言处理（NLP）领域非常流行的一种模型，它在处理大语言模型（LLMs）时，解码速度很快，但需要大量的内存来存储KV缓存，这在处理长序列和大批量数据时尤其成问题。 主... 阅读全文