北京智源人工智能研究院は、大規模言語モデルの対話性能向上を目指した、数千万件の命令微調整データセットInfinity-Instructを発表しました。最近、Infinity-Instruct-7M基本命令データセットとInfinity-Instruct-Gen対話命令データセットを含む、新たなバージョンが公開されました。
yang31210999
Llama3.1-Neo-1B-100wは、Meta-Llama-3.1-8B-Instructを1.4Bパラメータ規模にプルーニングし、LLM-Neoメソッド(LoRAと知識蒸留を組み合わせた)でファインチューニングした効率的な言語モデルです。トレーニングデータはBAAI/Infinity-Instructの100万行からサンプリングされています。