Récemment, l'équipe FAIR de Meta et des chercheurs de l'Université hébraïque de Jérusalem ont publié une nouvelle étude montrant qu'une réduction du temps de raisonnement des grands modèles de langage peut améliorer sensiblement leur performance dans les tâches complexes de raisonnement. Les résultats de l'étude indiquent que les modèles d'intelligence artificielle utilisant des chaînes de raisonnement plus courtes ont une précision accrue de 34,5 %, un fait qui remet en question certaines hypothèses actuelles de l'industrie de l'IA.
Crédit photo : Image générée par IA, fournisseur d'autorisation Midjourney
Dans cette étude, les auteurs soulignent que des chaînes de raisonnement longues ne garantissent pas nécessairement une meilleure capacité de raisonnement, mais entraînent souvent un gaspillage de ressources de calcul. Par le passé, de nombreuses entreprises ont investi de grandes ressources pour étendre la capacité de calcul dans l'espoir que l'IA puisse résoudre des problèmes complexes grâce à des étapes détaillées. Cependant, cette recherche montre que des processus de raisonnement plus courts peuvent non seulement améliorer l'exactitude, mais aussi considérablement réduire les coûts de calcul.
L'équipe de recherche a proposé une nouvelle méthode appelée « short-m@k », qui permet d'exécuter plusieurs tentatives de raisonnement en parallèle et d'arrêter le calcul dès que quelques-unes d'entre elles sont terminées. La réponse finale est sélectionnée par vote majoritaire parmi ces chaînes de raisonnement plus courtes. Les résultats montrent que cette méthode peut réduire les ressources de calcul jusqu'à 40 % sans compromettre les performances. Cette approche fournit une référence importante aux organisations pour le déploiement de systèmes d'inférence IA de grande taille, permettant ainsi d'économiser considérablement des coûts.
De plus, la recherche a également découvert que l'utilisation d'exemples de raisonnement plus courts pendant l'entraînement des modèles d'IA peut améliorer encore davantage leurs performances. Cela contredit l'hypothèse traditionnelle selon laquelle un raisonnement plus long pendant l'entraînement produit de meilleures performances, alors qu'en réalité, l'utilisation d'exemples de raisonnement plus courts donne de meilleurs résultats.
Dans l'industrie de l'IA, les entreprises ont tendance à déployer des modèles plus puissants, qui consomment souvent de grandes quantités de ressources de calcul. Les découvertes de cette recherche incitent les décideurs techniques à reconsidérer les méthodes de calcul utilisées lors du test des LLM (modèles de langue de grande taille). La recherche montre que trop de « réflexion » n'améliore pas nécessairement les performances, mais peut au contraire entraîner une baisse des résultats.
Ces résultats de recherche revêtent une importance particulière pour les géants de la technologie souhaitant réduire les coûts de calcul tout en améliorant les performances. Dans une industrie axée sur l'expansion, apprendre à l'IA à adopter une pensée plus simple peut non seulement économiser des ressources de calcul, mais aussi améliorer son niveau d'intelligence. À la fin, l'intelligence artificielle tire également profit de cette sagesse ancienne : « Ne pensez pas trop. »
Points clés :
🌟 La recherche a révélé que simplifier les chaînes de raisonnement peut améliorer l'exactitude des modèles IA de 34,5 %.
💡 La nouvelle méthode « short-m@k » peut réduire les coûts de calcul de 40 %.
📈 L'utilisation d'exemples de raisonnement courts pendant l'entraînement peut améliorer davantage les performances IA, ce qui contredit les hypothèses précédentes.
