L'équipe du modèle d'intelligence artificielle Bailing de Ant Group a récemment annoncé le lancement open source de son nouveau modèle de pensée à haute performance, Ring-flash-2.0. Ce modèle est le résultat d'une optimisation approfondie du modèle de base Ling-flash-2.0, marquant une avancée majeure dans le domaine de l'intelligence artificielle. Le nombre total de paramètres de Ring-flash-2.0 s'élève à 10 milliards, mais lors de chaque inférence, seuls 610 millions de paramètres sont activés. Cette mécanique d'activation efficace offre au modèle une puissance de calcul considérable tout en économisant de nombreuses ressources.
Selon la présentation de l'équipe, Ring-flash-2.0 s'est distingué dans plusieurs tests de référence exigeants, notamment les compétitions mathématiques, la génération de code et le raisonnement logique. Ses performances dépassent non seulement celles des modèles de 4 milliards de paramètres de la même catégorie, mais peuvent également rivaliser avec certains modèles open source à grande échelle (MoE) ainsi qu'avec des API de modèles de pensée performants propriétaires, démontrant ainsi sa compétitivité exceptionnelle.
Pour améliorer pleinement les capacités du modèle Ring-flash-2.0, l'équipe Bailing d'Ant Group a conçu un processus innovant d'entraînement par renforcement en deux étapes (RL). Tout d'abord, grâce à un SFT (fine-tuning supervisé) à longue séquence (Long-CoT), le modèle Ling-flash-2.0-base est capable de maîtriser diverses méthodes de pensée. Ensuite, une formation RLVR (renforcement avec récompense vérifiable) est utilisée pour continuer à stimuler les capacités de raisonnement du modèle. Enfin, une phase de renforcement par feedback humain (RLHF) est ajoutée pour renforcer les capacités générales du modèle.
Il convient de noter que les poids du modèle Ring-flash-2.0, les schémas d'entraînement par renforcement et les recettes de données seront entièrement open source, offrant ainsi des ressources précieuses aux développeurs et chercheurs. Les utilisateurs intéressés peuvent obtenir les informations pertinentes sur Hugging Face et ModelScope pour commencer à explorer ce modèle puissant.
Avec le développement continu des technologies de l'intelligence artificielle, Ring-flash-2.0 ouvre certainement de nouvelles possibilités pour les applications intelligentes futures. Nous espérons qu'il connaîtra une utilisation large dans divers domaines et des progrès supplémentaires !
Adresse du modèle :
https://huggingface.co/inclusionAI/Ring-flash-2.0
https://modelscope.cn/models/inclusionAI/Ring-flash-2.0