Googleが開発した「Infini-attention」技術は、Transformerベースの大規模言語モデルを拡張し、無限長の入力を処理することを目指しています。圧縮メモリ機構により無限長の入力処理を実現し、複数の長シーケンスタスクで優れた性能を発揮します。技術的手法には、圧縮メモリ機構、局所的および長期的な注意機構の組み合わせ、ストリーミング処理能力などが含まれます。実験結果では、長文脈言語モデル、キーコンテキストブロック検索、書籍要約タスクにおいて性能優位性が示されています。