Groq是一家AI芯片创业公司,由谷歌前员工创立。该公司推出了一款名为LPU的AI加速芯片,通过技术创新大幅提速大模型的推理与生成,速度可达GPU的10倍。这主要得益于采用了高速的SRAM存储技术,以及减少内存访问的架构设计。用户可以在LPU上运行Llama、Mixtral等多种大模型。LPU的推出有助于进一步优化大模型性能,或用于提升语音助手、AI写作等应用的响应速度。