随着AI聊天机器人的广泛应用，背后所需的庞大数据运算能力使得AI运算芯片的需求日益旺盛。近期，AI芯片初创公司Groq推出了其LPU（语言处理单元）芯片的免费试用活动，凭借卓越性能在社交媒体上引起了广泛关注。
试用地址：https://wow.groq.com
API地址：https://wow.groq.com
Groq的LPU芯片并非传统的GPU设计，而是专为大语言模型计算打造，能够以较低能耗实现高效能运行。这款芯片每秒可处理高达500个Token，远超当前OpenAI GPT-3.5每秒40个Token的速度。Groq并未开发全新的模型，而是作为一个“模型启动器”，通过搭载自家LPU芯片来驱动开源模型Mixtral 8x7B-32k和Llama 270B-4k。
Groq工具在处理速度上相较于使用GPU的传统工具实现了10倍以上的提升，并且具有低能耗优势，大大提升了效率。Groq声称其芯片架构能够无缝连接多个张量流处理器（TSP），有效避免内存瓶颈问题，从而轻松扩展并灵活适应不同需求。
尽管不少网友认为Groq的LPU芯片有望挑战目前英伟达在AI芯片领域的地位，但值得注意的是，当前LPU的应用仅限于大语言模型推理阶段，在训练模型时仍需依赖GPU。此外，大规模部署LPU的成本可能较GPU更高，这意味着要实现广泛的实际应用，还需等待技术和成本上的进一步优化与改进。
0条评论