SmolLM2-1.7B

SmolLM2は、1.35億、3.6億、および17億パラメーターのバリエーションを持つ軽量な言語モデルシリーズです。これらのモデルは、軽量性を維持しながら幅広いタスクに対応でき、特にデバイス上での実行に適しています。17億パラメーター版のモデルは、命令の遵守、知識、推論、数学において、前世代のSmolLM1-1.7Bと比べて顕著な進歩を見せています。FineWeb-Edu、DCLM、The Stackなど複数のデータセットを用いて訓練されており、UltraFeedbackを用いた直接選好最適化（DPO）も行われています。このモデルは、テキストの書き換え、要約、機能呼び出しなどのタスクにも対応しています。