LLMコンテキストエクステンダは、大規模言語モデル（LLM）のコンテキストウィンドウを拡張することを目的としたツールです。RoPEの基本周波数を調整し、アテンションロジットをスケーリングすることで、LLMがより大きなコンテキストウィンドウに効果的に対応できるようにします。本ツールは、微調整のパフォーマンスと堅牢性において、その手法の優位性を検証し、わずか100サンプルと6回のトレーニングステップでLLaMA-2-7B-Chatのコンテキストウィンドウを16,384に拡張した驚異的な効率性を示しています。さらに、データ構成とトレーニングコースが特定の下流タスクのコンテキストウィンドウ拡張にどのように影響するかについても考察し、LLMの微調整には長い会話を用いることが良い出発点であることを提案しています。