Récemment, l'équipe officielle de Qwen a publié la série de modèles Qwen3-Embedding, un nouveau membre de la famille de modèles Qwen, conçue spécialement pour les tâches de représentation de texte, de recherche et de tri. La série Qwen3-Embedding est formée sur le modèle de base Qwen3, héritant pleinement des avantages significatifs du modèle Qwen3 en matière de compréhension de texte multilingue.
Cette série de modèles s'est distinguée dans plusieurs tests de référence, en particulier pour les tâches de représentation et de tri de texte. Les tests ont utilisé des ensembles de données de recherche de MTEB (y compris la version v2 anglaise, la version v1 chinoise, la version multilingue et la version codée), et les résultats de tri sont basés sur les résultats de rappel top-100 vectoriel du modèle Qwen3-Embedding-0.6B. Il est à noter que le modèle Embedding avec une taille de paramètres de 8B a obtenu la première place sur la liste multilingue de MTEB, avec un score de 70,58, surpassant de nombreux services API commerciaux.
La série Qwen3-Embedding propose trois configurations de modèles allant de 0,6B à 8B, afin de répondre aux besoins de performance et d'efficacité dans divers scénarios. Les développeurs peuvent combiner de manière flexible les modules de représentation et de tri pour étendre les fonctionnalités. De plus, le modèle prend en charge la personnalisation de la dimension de représentation et l'optimisation des instructions, permettant aux utilisateurs de régler la dimension de représentation en fonction de leurs besoins réels et de définir des modèles d'instructions personnalisés pour améliorer les performances dans des tâches spécifiques, langues ou scénarios.
Dans le domaine de la prise en charge multilingue, la série Qwen3-Embedding se distingue, supportant plus de 100 langues, y compris les principales langues naturelles et plusieurs langages de programmation, avec une capacité exceptionnelle de recherche multilingue et translingue ainsi que de recherche de code. Cette série de modèles adopte une conception à double tour et à simple tour, respectivement pour les modèles Embedding et Reranker, préservant et héritant au maximum des capacités de compréhension de texte du modèle de base grâce à la micro-adaptation LoRA.
Pendant le processus de formation, la série Qwen3-Embedding a adopté un paradigme de formation en plusieurs étapes et a été optimisée en profondeur pour les applications spécifiques. Le modèle Embedding passe par une architecture de formation en trois étapes, comprenant l'apprentissage par contraste sur des données faiblement supervisées de grande ampleur, l'entraînement supervisé sur des données annotées de haute qualité et une stratégie de fusion de modèles, équilibrant efficacement la généralisation du modèle et son adaptabilité aux tâches. Quant au modèle Reranker, il utilise directement des données annotées de haute qualité pour l'entraînement supervisé, augmentant ainsi l'efficacité de l'entraînement.
Les modèles de la série Qwen3-Embedding publiés cette fois-ci sont disponibles en open source sur les plateformes Hugging Face, ModelScope et GitHub. Les utilisateurs peuvent également utiliser directement les services de modèle de vecteur de texte fournis par la plateforme BaiLian d'AliCloud. L'équipe officielle a indiqué qu'il s'agit d'un nouveau point de départ, et en continuant à optimiser le modèle de base Qwen, elle améliorera continuellement l'efficacité d'entraînement des modèles de représentation et de tri de texte, prévoyant d'étendre les systèmes de représentation multimodale et de construire des capacités de compréhension sémantique transmodale.
ModelScope :
https://modelscope.cn/collections/Qwen3-Embedding-3edc3762d50f48
https://modelscope.cn/collections/Qwen3-Reranker-6316e71b146c4f
Hugging Face :
https://huggingface.co/collections/Qwen/qwen3-embedding-6841b2055b99c44d9a4c371f
https://huggingface.co/collections/Qwen/qwen3-reranker-6841b22d0192d7ade9cdefea
GitHub :
https://github.com/QwenLM/Qwen3-Embedding