Groq社は、毎秒500トークンという速度で従来のGPUやGoogle TPUを凌駕する、大規模言語モデル(LLM)推論用の新チップを発表しました。
開発チームにはGoogle TPU出身者も多数参加しており、創設者のJonathan Ross氏もその一人です。このチップはGroq社独自開発のLPU(Large Processing Unit)を採用しており、3年以内にNVIDIAを上回ることを目指しています。価格は約2万ドルです。
非常に高速なAPIアクセス速度と、様々なオープンソースLLMモデルへの対応が特徴です。