Qwen2.5-Coder es una serie de modelos de lenguaje grandes específicos para código, que abarcan diferentes tamaños de modelo desde 50 millones hasta 3200 millones de parámetros, para satisfacer las necesidades de diferentes desarrolladores. Este modelo presenta mejoras significativas en la generación, inferencia y corrección de código. Basado en el potente Qwen2.5, la extensión de tokens de entrenamiento alcanza los 5.5 billones, incluyendo código fuente, bases de código de texto y datos sintéticos. Qwen2.5-Coder-32B es actualmente el modelo de lenguaje grande de código abierto más avanzado para generación de código, con una capacidad de codificación comparable a GPT-4o. Además, este modelo admite contextos largos de hasta 128K tokens y utiliza la técnica de cuantificación AWQ de 4 bits para mejorar la eficiencia y el rendimiento del modelo.