这篇论文的主题是关于如何通过合成图像和文本对来提升视觉-语言模型（Visual-Language Models，简称VLMs）的训练效率和性能。简单来说，就是利用大型语言模型（Large Language Models，简称LLMs）和图像生成模型来创 ...... 阅读全文

Meta推出Branch-Train-MiX（BTX），它是一种高效的训练大语言模型（LLMs）的方法，旨在让模型在多个专业领域（如编程、数学推理和世界知识等）都具备能力。BTX方法从一个基础模型开始，然后将其分支出去，以并行的方 ...... 阅读全文

这篇论文介绍了一个名为FAX的软件库，它是基于JAX（一个用于高性能机器学习计算的Python库）构建的，旨在支持大规模分布式和联邦计算。FAX特别适用于数据中心和跨设备应用程序，能够在不共享数据的情况下，让多个客 ...... 阅读全文

韩国科学技术院推出新型大型语言和视觉模型MoAI（Mixture of All Intelligence），MoAI是一个强大的多模态模型，它通过结合先进的语言处理和视觉识别技术，提供了一种新的交互方式，使得机器能够更好地理解和响应人 ...... 阅读全文

来自亚马逊网络服务、 加州大学圣地亚哥分校、弗莱堡大学、亚马逊供应链优化技术的研究团队推出Chronos框架，它是一个用于时间序列预测的先进工具。时间序列预测是一种分析技术，可以帮助我们根据历史数据来预测未来 ...... 阅读全文

加拿大AI企业Cohere宣布推出Command-R，一款面向大规模生产工作负载的可扩展生成模型。Command-R具备以下特点： ✅ 高准确性：结合RAG（检索增强生成）和工具使用，实现高度精确的输出。 ✅ 高效性能：低延迟、高吞吐 ...... 阅读全文

谷歌发布论文介绍一种新型的模型窃取攻击，它能够从未公开的黑盒生产语言模型（例如OpenAI的ChatGPT或Google的PaLM-2）中提取精确、非平凡的信息。具体来说，攻击者可以通过典型的API访问，恢复变换模型的嵌入投影层 ...... 阅读全文

这篇论文探讨了自深度学习出现以来，预训练语言模型算法的进步速度。研究者们收集了2012年至2023年间200多个语言模型在Wikitext和Penn Treebank数据集上评估的数据，发现为了达到一定的性能阈值，所需的计算资源大约 ...... 阅读全文

来自浙江大学和香港科技大学的研究团队推出新型训练框架Fuyou，它能够使得在单个GPU上高效地进行超大规模模型（如100亿参数的模型）的微调成为可能。这个框架特别适用于资源有限、无法承担多GPU服务器的研究人员和开 ...... 阅读全文

来自阿里巴巴和北京大学推出FastV，这是一种针对大型视觉-语言模型（LVLMs）的推理加速技术。LVLMs是一类结合了图像识别和自然语言处理能力的人工智能模型，它们可以处理复杂的任务，比如根据图片内容生成描述、回答 ...... 阅读全文

AnythingLLM：一款私人ChatGPT，可与任何事物进行对话！高效、可定制、开源的企业级文档聊天机器人解决方案。这款全栈应用程序能够将任何文档、资源或内容片段转化为上下文，供任何LLM在聊天时作为参考使用。它还允 ...... 阅读全文

谷歌发布了Gemini 1.5 Pro的技术论文，此模型特别擅长理解和处理大量的信息，比如长篇文章、视频和音频。想象一下，你有一个包含数百万字的长篇小说，或者几个小时的视频和音频文件，Gemini 1.5 Pro能够像阅读短文一 ...... 阅读全文