Groq es una empresa emergente de chips de IA fundada por antiguos empleados de Google. La compañía ha lanzado un chip de aceleración de IA llamado LPU, que utiliza innovaciones tecnológicas para acelerar significativamente la inferencia y la generación de modelos grandes, hasta 10 veces más rápido que las GPU. Esto se debe principalmente al uso de tecnología de almacenamiento SRAM de alta velocidad y a un diseño de arquitectura que reduce el acceso a la memoria. Los usuarios pueden ejecutar varios modelos grandes en LPU, como Llama y Mixtral. El lanzamiento de LPU ayudará a optimizar aún más el rendimiento de los modelos grandes o a mejorar la velocidad de respuesta de aplicaciones como asistentes de voz y escritura de IA.