Récemment, Tencent a lancé la version officielle de sa série de modèles de langage de grande taille : HunYuan - T1. Ce nouveau modèle, basé sur la plateforme HunYuan de taille moyenne, a bénéficié d'un entraînement postérieur à grande échelle, améliorant considérablement ses capacités de raisonnement, notamment en matière de réflexion approfondie et de résolution de problèmes complexes. Depuis le lancement de la version préliminaire HunYuan T1-Preview en février dernier, les utilisateurs ont pu profiter d'un processus de réflexion plus rapide et plus profond. Le lancement de cette version officielle marque une nouvelle étape dans l'évolution de cette série de produits.
L'équipe de développement de HunYuan - T1 a utilisé la plateforme TurboS dernier cri, un modèle Hybrid-Transformer-Mamba MoE à très grande échelle et leader du secteur. TurboS présente des avantages uniques pour le raisonnement sur de longs textes, résolvant efficacement les problèmes de perte de contexte et de dépendance à l'information à longue distance. De plus, l'architecture Mamba a été optimisée pour préserver la capacité de capture d'informations tout en réduisant considérablement la consommation de ressources de calcul. Selon les données officielles, dans les mêmes conditions de déploiement, la vitesse de décodage de HunYuan - T1 est deux fois plus rapide.
Lors de la phase d'entraînement postérieur, l'équipe a consacré 96,7 % de sa puissance de calcul à l'apprentissage par renforcement, en se concentrant sur l'amélioration des capacités de raisonnement et l'alignement sur les préférences humaines. L'équipe a rassemblé un grand nombre de problèmes scientifiques mondiaux, couvrant les mathématiques, le raisonnement logique, les sciences et le code, afin de garantir que le modèle affiche des performances exceptionnelles dans diverses tâches de raisonnement. L'entraînement a utilisé une approche d'apprentissage progressif, augmentant progressivement la difficulté des données.
Accès à la démonstration : https://llm.hunyuan.tencent.com/?ref=producthunt#/chat/hy-t1