アップル、小規模言語モデルDCLM-Baseline-7Bをオープンソース化、トレーニングプロセスとデータセットを含む
アップルが、DCLM-Baseline-7Bという全工程を網羅した言語モデルをオープンソース化し、AI分野の発展を促進。このモデルには、事前学習データセット、データ処理、トレーニングから評価までの全プロセスが含まれており、研究者や開発者にとって包括的な理解を深めるためのリソースとなる。MMLUテストでは、Mistral-7B-v0.3やLlama-38Bと同等の性能を示した。Transformerアーキテクチャに基づき、DCLM-Baseline-7Bは高度な設計が採用され、PyTorch/OpenL向けに最適化されている。