拡散モデルの新進展:Radical Numericsが30BパラメータのRND1 AIをオープンソース化、自己進化への重要な一歩を遂げる
Radical Numericsは30Bパラメータのオープンソース拡散言語モデルRND1-Baseをリリースし、スパースエキスパート混合アーキテクチャを採用しており、3Bパラメータのみがアクティブ化されている。このモデルは並列生成の利点を持ち、ベンチマークテストでのパフォーマンスが優れている。また、完全な重みとトレーニングプロセスを公開し、拡散モデル技術の発展を推進している。