Gemma 2B - 10M Contextは、革新的なアテンション機構の最適化により、32GB未満のメモリで最大10Mトークンのシーケンスを処理できる大規模言語モデルです。Transformer-XL論文に着想を得た循環局所アテンション技術を採用し、大規模言語タスク処理のための強力なツールです。