Giraffe: 拡張されたコンテキストウィンドウを持つオープンソース言語モデル

研究者らは、補間技術を用いてオープンソース言語モデルLLaMAのコンテキストウィンドウを10倍、約32,000トークンに拡大し、新しいオープンソース言語モデルGiraffeを開発しました。

このモデルは、数十ページのテキストを扱う商業アプリケーションに適しており、大規模コンテキスト言語モデルの研究に重要な知見を提供します。しかし、研究では現在の技術の限界も指摘されており、長いコンテキストのタスクのパフォーマンスを測定するには、カスタムテストが必要であると結論付けています。