Groq ha lanzado un chip para la inferencia de modelos de lenguaje grandes, capaz de procesar 500 tokens por segundo, superando a las GPU tradicionales y a los TPU de Google. El equipo incluye miembros provenientes del equipo de TPU de Google, entre ellos su fundador, Jonathan Ross. El chip utiliza la solución LPU de diseño propio y tiene como objetivo superar a Nvidia en tres años. Su precio se estima en alrededor de 20.000 dólares.
Se caracteriza por su velocidad de acceso API extremadamente rápida y su compatibilidad con una variedad de modelos LLM de código abierto.