Groq hat einen neuen Inferenz-Chip für große Sprachmodelle vorgestellt, der beeindruckende 500 Tokens pro Sekunde verarbeitet. Damit stellt er traditionelle GPUs und Googles TPUs in Frage.
Das Team besteht aus ehemaligen Google TPU-Entwicklern. Der selbst entwickelte Chip zeichnet sich durch ein hohes Preis-Leistungs-Verhältnis und die Unterstützung verschiedener großer Sprachmodelle aus.
Das Unternehmen ist ehrgeizig und plant, innerhalb von drei Jahren Nvidia zu überholen. Groq beweist mit seinem innovativen Ansatz einen herausfordernden Geist und eröffnet neue Möglichkeiten im Bereich der Künstlichen Intelligenz.
