La plateforme Alibaba Cloud Bailian a récemment annoncé le lancement du modèle de texte long Qwen2.5-Turbo, capable de gérer jusqu'à 1 million de jetons. Développé par l'équipe Tongyi Qianwen, le modèle Qwen2.5-Turbo prend en charge des contextes extrêmement longs, équivalents à 1 million de mots anglais ou 1,5 million de caractères chinois.
Ce nouveau modèle atteint une précision de 100 % dans les tâches de recherche de texte long et obtient un score de 93,1 sur l'ensemble de test RULER, surpassant ainsi GPT-4. Dans des tâches de texte long proches de scénarios réels comme LV-Eval et LongBench-Chat, Qwen2.5-Turbo surpasse GPT-4o-mini sur la plupart des aspects. Dans les tests de référence sur des textes courts, Qwen2.5-Turbo affiche également d'excellentes performances, surpassant nettement les modèles open source précédents avec une longueur de contexte de 1 million de jetons.
Les applications du modèle Qwen2.5-Turbo sont vastes, incluant la compréhension approfondie de romans, l'assistance pour le code à grande échelle, la lecture de multiples articles scientifiques, etc. Il peut traiter simultanément 10 romans, 150 heures de discours ou 30 000 lignes de code. En termes de vitesse d'inférence, l'équipe Tongyi Qianwen a comprimé le calcul d'environ 12,5 fois grâce à un mécanisme d'attention clairsemé, réduisant le temps de retour du premier caractère pour un contexte de 1 million de jetons de 4,9 minutes à 68 secondes, soit une amélioration de la vitesse de 4,3 fois.
La plateforme Alibaba Cloud Bailian offre à tous les utilisateurs la possibilité d'appeler directement l'API Qwen2.5-Turbo, avec un crédit de 10 millions de jetons offert pour une durée limitée. Le coût ultérieur pour l'utilisation d'un million de jetons est seulement de 0,3 yuan.
Actuellement, la plateforme Alibaba Cloud Bailian propose plus de 200 modèles open source et propriétaires majeurs, nationaux et internationaux, incluant Qwen, Llama et ChatGLM. Elle permet aux utilisateurs d'appeler directement les modèles, de les entraîner, de les affiner ou de créer des applications RAG.
