Récemment, la société d'intelligence de données Databricks a lancé une nouvelle méthode d'ajustement fin des grands modèles linguistiques : TAO (Test-time Adaptive Optimization). Cette avancée offre de nouveaux espoirs pour le développement des modèles open source. En utilisant des données non étiquetées et l'apprentissage par renforcement, TAO se distingue non seulement par sa réduction des coûts pour les entreprises, mais aussi par ses performances remarquables lors de plusieurs tests de référence.
Selon le média technologique NeoWin, le modèle Llama 3.370B ajusté finement avec TAO a surpassé les méthodes d'ajustement fin traditionnelles basées sur des données étiquetées dans des tâches telles que la réponse aux questions sur des documents financiers et la génération de SQL. Il se rapproche même des performances des modèles propriétaires haut de gamme d'OpenAI. Cette réussite marque une nouvelle percée majeure pour les modèles open source dans leur compétition avec les produits d'IA commerciaux.
TAO repose sur un concept unique de « calcul au moment du test », capable d'explorer automatiquement la diversité des tâches et d'optimiser le modèle grâce à l'apprentissage par renforcement. Cela permet d'éviter les coûts liés à l'étiquetage manuel des données, nécessaires aux méthodes d'ajustement fin traditionnelles. Lors de plusieurs tests de référence en entreprise, le modèle Llama ajusté finement avec TAO a obtenu des résultats impressionnants :
- Dans le test de référence FinanceBench, le modèle a obtenu un score de 85,1 sur 7200 questions-réponses sur des documents SEC, dépassant ainsi les méthodes d'ajustement fin traditionnelles (81,1) et le modèle o3-mini d'OpenAI (82,2).
- Dans le test BIRD-SQL, le modèle Llama ajusté finement avec TAO a obtenu un score de 56,1, proche du score de 58,1 de GPT-4o, et largement supérieur aux méthodes d'ajustement fin traditionnelles (54,9).
- Dans DB Enterprise Arena, le modèle TAO a obtenu un score de 47,2, légèrement inférieur au score de 53,8 de GPT-4o, mais démontrant toujours une forte compétitivité.
La technologie TAO ouvre une nouvelle voie à l'évolution continue des modèles open source. Avec l'augmentation du nombre d'utilisateurs, le modèle s'auto-optimisera grâce aux données de retour. Actuellement, Databricks a lancé une phase de test privé sur le modèle Llama, et les entreprises peuvent soumettre une demande pour participer à cette expérience innovante.
Cette nouvelle technologie représente non seulement une avancée majeure dans le domaine de l'IA open source, mais aussi une orientation importante pour le développement futur des grands modèles linguistiques. Avec la participation d'un plus grand nombre d'entreprises, la méthode d'ajustement fin TAO devrait contribuer à améliorer encore les performances des modèles open source, et permettre à l'IA open source de révéler un potentiel encore plus grand dans les applications commerciales.