Récemment, le laboratoire Tongyi d'Ali a annoncé l'ouverture du cadre de préformation MaskSearch. Grâce à une méthode innovante appelée "Prédiction de Masque Renforcée par Recherche" (RAMP) et des techniques d'apprentissage par renforcement, ce cadre améliore considérablement la performance de l'IA dans la résolution de problèmes complexes. Ce cadre permet à l'IA d'apprendre à effectuer des recherches actives et des déductions en plusieurs étapes, ouvrant ainsi de nouvelles perspectives pour les systèmes de recherche intelligente et de questions-réponses. L'équipe de rédaction d'AIbase a compilé les informations les plus récentes pour vous fournir une analyse approfondie des points forts et de l'influence sectorielle de MaskSearch.
MaskSearch : apprendre à l’IA « rechercher activement + raisonnement multi-étapes »
L'innovation principale de MaskSearch réside dans son mécanisme de **Prédiction de Masque Renforcée par Recherche** (RAMP). Ce mécanisme simule une tâche de « questions à trous » pour entraîner l’IA à chercher activement sur Internet les informations manquantes face à des données incomplètes, puis à combiner ces informations avec celles déjà disponibles. AIbase a appris que les tâches RAMP introduisent de nombreux « masques » dans la phase de préformation, permettant au modèle d’apprendre progressivement des compétences de raisonnement allant de simples à complexes. Cette méthode d’entraînement progressive renforce non seulement la capacité de l’IA à utiliser des connaissances externes, mais améliore également significativement sa performance dans les tâches de raisonnement multi-étapes.
Pendant les tests pratiques, MaskSearch basé sur le modèle Qwen2.5-1.5B a atteint une augmentation de 11,78 % des performances sur le jeu de données Bamboogle. Il a également montré une amélioration stable du taux de rappel sur des ensembles de données comme HotpotQA. Comparé aux méthodes traditionnelles de génération renforcée par recherche (RAG), MaskSearch se distingue particulièrement par sa capacité de généralisation entre différents jeux de données, offrant une meilleure adaptation et précision dans la résolution de problèmes complexes nécessitant plusieurs étapes de raisonnement.
Renforcement par apprentissage : Algorithme DAPO améliore les performances des tâches complexes
Un autre point fort de MaskSearch est l’utilisation de l'algorithme DAPO (Algorithmes d’Optimisation et d’Amélioration des Données), qui combine un mécanisme d'apprentissage par renforcement avec des récompenses pour le format et la réponse. Les récompenses pour le format assurent que les réponses générées sont structurées et logiquement cohérentes, tandis que les récompenses pour les réponses incitent l'IA à fournir des réponses plus précises et adaptées aux besoins du problème. Ce double mécanisme de récompense permet à MaskSearch de décomposer efficacement les problèmes et générer des réponses de haute qualité dans des tâches comme les questions-réponses ouvertes et la déduction logique.
AIbase a constaté que l'intégration de l'algorithme DAPO avec les tâches RAMP permet aux modèles de petite taille comme Qwen2.5-1.5B de rivaliser en performance avec des modèles beaucoup plus volumineux. Par exemple, sur le jeu de données HotpotQA, MaskSearch améliore la performance de 3 à 5 points de pourcentage grâce à l'optimisation par apprentissage par renforcement, démontrant ainsi son immense potentiel dans les scénarios limités en ressources.
Ouverture à tous : Promouvoir la démocratisation des technologies IA
Le laboratoire Tongyi d’Ali a rendu MaskSearch entièrement open-source, marquant une autre initiative importante dans la promotion de la démocratisation des technologies IA. Les développeurs peuvent accéder au code et à la documentation de MaskSearch via GitHub et l’intégrer facilement dans leurs systèmes existants. AIbase remarque que MaskSearch supporte non seulement la série de modèles Qwen, mais aussi d'autres modèles open source comme LLaMA, montrant ainsi une excellente compatibilité. Cette ouverture offre aux développeurs mondiaux une plateforme expérimentale à faible coût, accélérant ainsi l'application des technologies de recherche intelligente et de déduction dans des domaines tels que l’éducation, les soins de santé et le droit.
Sur les réseaux sociaux, les développeurs ont réagi positivement à l'ouverture de MaskSearch, nombreux exprimant qu'il offre une nouvelle perspective pour améliorer les capacités de raisonnement des petits modèles. AIbase pense que l'ouverture de MaskSearch favorisera encore davantage le développement de la communauté open-source des IA, réduisant ainsi l’écart entre les modèles open-source et propriétaires dans les tâches de déduction complexe.
Influence industrielle : Redessiner l'écosystème de la recherche intelligente et des questions-réponses
Lancement de MaskSearch n'est pas seulement une percée technologique du laboratoire Tongyi d'Ali, mais également un jalon important dans le domaine de la recherche et de la déduction IA. AIbase observe que les méthodes traditionnelles de génération renforcée par recherche (RAG) sont souvent limitées dans leur capacité à traiter des problèmes complexes en raison de la qualité des données spécifiques aux tâches et de la capacité de raisonnement du modèle. MaskSearch, grâce aux tâches RAMP lors de la phase de préformation et à l'optimisation par apprentissage par renforcement, confère à l’IA une capacité accrue à effectuer des recherches autonomes et des déductions en plusieurs étapes, lui permettant de performer mieux dans des tâches comme les questions-réponses ouvertes et les tâches à forte densité de connaissances.
Par exemple, sur le jeu de données Bamboogle, le modèle Qwen2.5-1.5B combiné à MaskSearch a amélioré ses performances de 11,78 %. La croissance pour le modèle LLaMA atteignait même 15,12 %. Ces données montrent que MaskSearch améliore non seulement le taux de rappel du modèle, mais aussi sa capacité de généralisation transversale, posant ainsi une base solide pour la construction de proxies de recherche plus intelligents.
Projections futures : L'inférence IA entre dans une nouvelle ère
L'introduction de MaskSearch marque un nouveau stade dans la technologie d'inférence IA, rendant celle-ci plus intelligente et autonome. Le laboratoire Tongyi d'Ali a indiqué qu’il optimiserait davantage le processus d’entraînement de MaskSearch, explorerait des algorithmes d'apprentissage par renforcement plus efficaces, et élargirait son application aux tâches d'inférence multimodale. AIbase prévoit que l'utilisation généralisée de MaskSearch ouvrira de nouvelles opportunités de développement dans les domaines de la recherche intelligente, des systèmes de questions-réponses et même des décisions automatisées.
Pour les développeurs, MaskSearch n’est pas seulement un excellent cadre de préformation, mais aussi une plateforme extensible qui devrait supporter à l'avenir de nouveaux types de tâches et d’architectures de modèles.
Adresse du projet : https://github.com/Alibaba-NLP/MaskSearch