グーグル TurboQuantが発表：LLMのキーバッファメモリ圧縮が6倍、速度は8倍。ゼロ精度損失、トレーニング不要！

グーグルがTurboQuantアルゴリズムをリリースし、PolarQuantおよびQJL技術により、大規模言語モデルの推論におけるキーバッファメモリ要求を少なくとも6倍まで削減しました。H100 GPUでのアテンション計算の速度は最大で8倍向上し、ゼロ精度損失を維持しています。この革新はAI導入コストを低下させ、長文対応アプリケーションの発展を加速する可能性があります。