Recientemente, la empresa de inteligencia de datos Databricks lanzó un nuevo método de ajuste fino para modelos de lenguaje grandes: TAO (Test-time Adaptive Optimization). Esta tecnología ofrece una nueva esperanza para el desarrollo de modelos de código abierto. Utilizando datos sin etiquetar y aprendizaje por refuerzo, TAO no solo reduce los costos empresariales, sino que también ha logrado resultados impresionantes en una serie de pruebas de referencia.
Según el medio tecnológico NeoWin, el modelo Llama 3.370B ajustado con TAO superó en rendimiento a los métodos tradicionales de ajuste fino con datos etiquetados en tareas como preguntas y respuestas sobre documentos financieros y generación de SQL, incluso acercándose a los modelos propietarios de primer nivel de OpenAI. Este logro marca otro gran avance para los modelos de código abierto en su competencia con los productos de IA comerciales.
El núcleo del método TAO radica en su singular concepto de "cálculo en tiempo de prueba", capaz de explorar automáticamente la diversidad de las tareas y combinar el aprendizaje por refuerzo para optimizar el modelo, evitando así el costoso etiquetado manual requerido en el ajuste fino tradicional. En múltiples pruebas de referencia empresariales, el modelo Llama ajustado con TAO obtuvo excelentes resultados:
- En la prueba de referencia FinanceBench, el modelo obtuvo una puntuación de 85.1 en 7200 preguntas y respuestas sobre documentos de la SEC, superando al ajuste fino tradicional con datos etiquetados (81.1) y a o3-mini de OpenAI (82.2).
- En la prueba BIRD-SQL, el modelo Llama ajustado con TAO obtuvo una puntuación de 56.1, acercándose a la puntuación de GPT-4o (58.1) y superando con creces al ajuste fino tradicional con datos etiquetados (54.9).
- En DB Enterprise Arena, el modelo TAO obtuvo una puntuación de 47.2, ligeramente inferior a la de GPT-4o (53.8), pero mostrando aún una gran competitividad.
La tecnología TAO abre una nueva puerta para la evolución continua de los modelos de código abierto. A medida que aumente el número de usuarios, el modelo se autooptimizará mediante los datos de retroalimentación. Actualmente, Databricks ha comenzado las pruebas privadas en el modelo Llama, y las empresas pueden solicitar participar en esta experiencia innovadora.
Este nuevo lanzamiento tecnológico no solo representa un avance innovador en el campo de la IA de código abierto, sino que también es una guía importante para el futuro desarrollo de los modelos de lenguaje grandes. Con la participación de más empresas, el método de ajuste fino TAO podría impulsar aún más el rendimiento de los modelos de código abierto, permitiendo que la IA de código abierto muestre un mayor potencial en aplicaciones comerciales.