Web LLM:浏览器中的 AI 助手,将语言模型对话功能直接集成到网络浏览器中,并利用硬件加速技术

分类:大语言模型 | 热度:262 ℃

WebLLM 是一个可定制且模块化的 JavaScript 包,它能够将语言模型对话功能直接集成到网络浏览器中,并利用硬件加速技术。所有操作都在浏览器内部完成,无需服务器端的支持,并通过 WebGPU 进行加速。

  • 兼容性 WebLLM 完全兼容 OpenAI API,这意味着你可以使用相同的 OpenAI API 在本地的任何开源模型上进行操作,支持的功能包括 JSON 格式的数据交换、函数调用、数据流传输等。
  • 隐私与性能 我们为每个人提供了许多有趣的机会来构建 AI 助手,并在享受 GPU 加速带来的好处的同时,保护用户的隐私。
  • 体验与开发 欢迎访问我们的演示网页进行体验!你可以将 WebLLM 作为一个基础的 npm 包(npm 是一个 JavaScript 包管理器,用于管理和安装 JavaScript 库)来构建你自己的网络应用程序。只需遵循文档指南并查看“入门指南”即可。
  • 项目背景 这个项目是 MLC LLM 的配套项目,它允许在 iPhone 和其他本地环境中原生运行大型语言模型(LLM)。

项目主页:https://webllm.mlc.ai

GitHub:https://github.com/mlc-ai/web-llm

Web LLM:浏览器中的 AI 助手,将语言模型对话功能直接集成到网络浏览器中,并利用硬件加速技术

 

声明: 猎游人 每天为你带来最新的游戏和硬件打折情报,帮你精心挑选值得玩的游戏,让您的钱花的更值!本站信息大部分来自于网友爆料,如果您发现了优质的游戏或好的价格,不妨爆料给我们吧(谢绝任何商业爆料)! 点此爆料

0条评论

Hi,您需要填写昵称和邮箱!
姓名 (必填)
邮箱 (必填)
网站

暂时木有评论