Récemment, l'équipe Google AI a publié MLE-STAR (Machine Learning Engineering par recherche et optimisation ciblée), un système d'agent avancé conçu pour automatiser la conception et l'optimisation de processus complexes en apprentissage automatique. MLE-STAR combine une grande recherche sur le réseau, une optimisation ciblée du code et un module de vérification puissant, se distinguant dans plusieurs tâches d'ingénierie en apprentissage automatique, surpassant les agents d'apprentissage automatique autonomes précédents ainsi que les méthodes de base humaines.
Aujourd'hui, bien que les grands modèles linguistiques (LLMs) aient connu certains progrès dans la génération de code et l'automatisation des workflows, les agents d'ingénierie en apprentissage automatique existants font face à de nombreux défis. Par exemple, ils dépendent trop souvent de la mémoire des LLM, utilisant souvent des modèles "familiers", tout en ignorant les méthodes avancées et spécifiques aux tâches ; ou encore, les agents précédents modifiaient le code de manière "globale d'un seul coup", sans explorer en profondeur les composants du pipeline tels que le prétraitement des données ou l'ingénierie des caractéristiques. De plus, le code généré est susceptible de présenter des erreurs, des fuites de données, etc.
Face à ces problèmes, MLE-STAR propose une série d'innovations fondamentales. Tout d'abord, MLE-STAR sélectionne des modèles et des extraits de code via une recherche sur le réseau, plutôt que de se fier uniquement à sa propre "mémoire", garantissant ainsi une solution initiale basée sur les meilleures pratiques actuelles. Ensuite, il utilise un processus d'optimisation en deux étapes : la boucle externe identifie les composants clés influençant les performances grâce à des études d'ablation, tandis que la boucle interne explore en profondeur ces composants. En outre, MLE-STAR est capable de proposer et d'appliquer des méthodes d'intégration innovantes, améliorant ainsi les performances globales en combinant plusieurs solutions candidates.
Pour assurer la qualité du code, MLE-STAR a également introduit plusieurs agents spécialisés, notamment un agent de débogage qui capture et répare automatiquement les erreurs Python, un agent qui vérifie les fuites de données et un agent de vérification de l'utilisation qui s'assure que tous les fichiers de données sont pleinement exploités. Grâce à ces mesures, MLE-STAR se distingue dans divers tests de référence, notamment lors des concours Kaggle, où il a obtenu un taux significativement élevé de médailles d'or et d'œuvres remarquables.
La bibliothèque de code open source de MLE-STAR permet aux chercheurs et aux professionnels de l'apprentissage automatique d'intégrer ces capacités avancées à leurs propres projets, accélérant ainsi la productivité et le processus d'innovation.
Projet : https://github.com/nv-tlabs/cosmos1-diffusion-renderer
Points clés :
💡 MLE-STAR est un agent avancé en ingénierie d'apprentissage automatique lancé par Google, conçu pour automatiser des tâches complexes.
🔍 En utilisant la recherche sur le réseau, l'optimisation ciblée et plusieurs mécanismes de vérification, MLE-STAR améliore considérablement l'efficacité et la qualité de l'ingénierie en apprentissage automatique.
🏆 Dans les concours Kaggle, MLE-STAR s'est distingué, obtenant un taux plus élevé de médailles d'or et d'œuvres remarquables.
