Pile-T5は、EleutherAIによって開発された自然言語処理モデルです。元のT5モデルをベースに、PileデータセットとLLAMAトークナイザーを用いて訓練されており、コードタスクに対する理解能力が向上しています。2兆トークンを用いた訓練は、元のT5モデルの2倍の規模です。Pile-T5は、多くの下流タスク、特にコード関連タスクにおいて優れた性能を発揮します。さらに、EleutherAIは中間チェックポイントも公開しており、研究者はモデルの経時的な変化を調査することができます。