A Groq é uma startup de chips de IA fundada por ex-funcionários do Google. A empresa lançou um chip de aceleração de IA chamado LPU, que, por meio de inovações tecnológicas, acelera significativamente a inferência e a geração de grandes modelos, atingindo velocidades até 10 vezes superiores às de GPUs. Isso se deve principalmente ao uso de tecnologia de memória SRAM de alta velocidade e a um design de arquitetura que reduz o acesso à memória. Os usuários podem executar vários grandes modelos no LPU, como Llama e Mixtral. O lançamento do LPU ajudará a otimizar ainda mais o desempenho de grandes modelos ou a melhorar a velocidade de resposta de aplicativos como assistentes de voz e ferramentas de escrita de IA.