京东がJoyAI-LLM-Flashという大規模モデルをリリースし、AI技術の革新を推進

JD.comは大規模モデルであるJoyAI-LLM-Flashをオープンソースとして公開しました。パラメータ数は480億で、アクティブパラメータ数は30億で、20兆文字のテキストで事前学習されています。最先端の知識理解、推論およびプログラミング能力を持っています。FiberPO最適化フレームワークを使用し、ファイバー束理論と強化学習を組み合わせ、Muonオプティマイザと高密度マルチトークン予測技術を使用して、モデルのスケーラビリティの不安定な問題を解決しました。