Groq lance une puce d'inférence pour les grands modèles linguistiques

Groq a lancé une puce d'inférence pour les grands modèles linguistiques (LLM), capable de traiter 500 jetons par seconde, surpassant ainsi les GPU traditionnels et les TPU de Google. L'équipe comprend des membres issus de l'équipe Google TPU, dont le fondateur Jonathan Ross. La puce utilise une architecture LPU conçue en interne et vise à dépasser Nvidia dans les trois prochaines années. Son prix est estimé à environ 20 000 $. Elle se caractérise par une vitesse d'accès API extrêmement rapide et une compatibilité avec de nombreux modèles LLM open source.