Qwen1.5 es una serie de modelos de lenguaje basados en la arquitectura Transformer de tipo decodificador, que incluye modelos de diferentes tamaños. Se caracteriza por el uso de la activación SwiGLU, bias en la atención QKV y atención de consultas agrupadas. Admite múltiples idiomas y códigos. Se recomienda el entrenamiento posterior, como SFT y RLHF. Su precio es gratuito.