Recientemente, la versión oficial de Qwen3-Embedding, una nueva serie de modelos de la familia Qwen, ha sido lanzada oficialmente por el equipo de Qwen. Esta serie de modelos está diseñada específicamente para tareas de representación de texto, búsqueda y clasificación. Basados en el modelo base Qwen3, estos modelos heredan significativamente las capacidades de comprensión de texto multilingüe destacadas del modelo Qwen3.
En diversas pruebas de benchmark, esta serie de modelos ha demostrado un excelente rendimiento, especialmente en tareas de representación y clasificación de texto. Las pruebas se realizaron utilizando conjuntos de datos de búsqueda de MTEB (versión v2 en inglés, versión v1 en chino, versión multilingüe y versión de código), con resultados de clasificación basados en los 100 vectores de recuperación top de Qwen3-Embedding-0.6B. Es importante destacar que el modelo Embedding con una escala de parámetros de 8B alcanzó el primer lugar en la lista multilingüe de MTEB, obteniendo una puntuación de 70.58, superando a muchos servicios comerciales API.
La serie Qwen3-Embedding ofrece tres configuraciones de modelos con escalas de parámetros desde 0.6B hasta 8B, para satisfacer diferentes necesidades de rendimiento y eficiencia en distintos escenarios. Los desarrolladores pueden combinar flexiblemente los módulos de representación y clasificación para expandir funciones. Además, los modelos también admiten personalización de dimensiones de representación e optimización de instrucciones, permitiendo a los usuarios ajustar las dimensiones de representación según sus necesidades reales y personalizar plantillas de instrucción para mejorar el rendimiento en tareas específicas, idiomas o escenarios.
En cuanto al soporte multilingüe, la serie Qwen3-Embedding destaca con más de 100 idiomas compatibles, cubriendo principales lenguajes naturales y varios lenguajes de programación, con una capacidad robusta para búsquedas entre y cruzando múltiples idiomas y códigos. Estos modelos adoptan estructuras de doble torre y torre simple, respectivamente, para los modelos Embedding y Reranker, manteniendo y heredando la capacidad de comprensión de texto de la modelo base a través de la microajuste LoRA.
Durante el proceso de entrenamiento, la serie Qwen3-Embedding adoptó un paradigma de entrenamiento de varias etapas y realizó optimizaciones profundas según aplicaciones específicas. Los modelos Embedding pasaron por un arquitectura de entrenamiento en tres fases, incluida la preentrenación mediante aprendizaje por contraste con grandes cantidades de datos supervisados débilmente, el entrenamiento supervisado con datos de alta calidad y la estrategia de fusión de modelos, equilibrando eficazmente la capacidad de generalización y la adaptabilidad a tareas. Por otro lado, los modelos Reranker utilizaron directamente datos supervisados de alta calidad para entrenar, mejorando así la eficiencia de entrenamiento.
La serie de modelos Qwen3-Embedding lanzada recientemente ya está disponible como código abierto en plataformas como Hugging Face, ModelScope y GitHub. Los usuarios también pueden usar directamente los servicios de modelos vectoriales de texto más recientes proporcionados por la plataforma AliCloud Bailian. Según el equipo oficial, esto es solo el comienzo, y con la optimización continua del modelo base Qwen, seguirán mejorando la eficiencia del entrenamiento de los modelos de representación y clasificación de texto, además de planificar la expansión del sistema de representación multimodal para construir capacidades de comprensión semántica transmodal.
ModelScope:
https://modelscope.cn/collections/Qwen3-Embedding-3edc3762d50f48
https://modelscope.cn/collections/Qwen3-Reranker-6316e71b146c4f
Hugging Face:
https://huggingface.co/collections/Qwen/qwen3-embedding-6841b2055b99c44d9a4c371f
https://huggingface.co/collections/Qwen/qwen3-reranker-6841b22d0192d7ade9cdefea
GitHub:
https://github.com/QwenLM/Qwen3-Embedding