Récemment, des équipes de recherche provenant de l'Université de Stanford et de l'Université de Virginie-Occidentale ont proposé une méthode appelée « échantillonnage verbalisé » (Verbalized Sampling, VS), visant à améliorer la diversité de création des modèles d'IA générative. Les études montrent que l'ajout d'une simple phrase dans les instructions : « Générez cinq réponses et leurs probabilités correspondantes, en échantillonnant à partir de la distribution complète », permet aux grands modèles linguistiques (LLMs) et aux modèles de génération d'images de produire des résultats plus créatifs.
Les modèles d'IA générative choisissent généralement le prochain élément d'information (token) prédit lors de la génération de contenu. Cela signifie que, lorsqu'un modèle répond à une question comme « Quelle est la capitale de la France ? », il sélectionne « Paris » parmi la distribution de probabilité. Cependant, de nombreux utilisateurs constatent que les sorties de l'IA sont souvent répétitives et monotones. Ce phénomène est appelé « effondrement des modèles » et limite le potentiel du modèle, notamment dans les domaines de l'écriture créative, de la communication, de la stratégie et des illustrations.
La méthode VS restaure la richesse de la diversité initiale du modèle en permettant au modèle de présenter un ensemble de réponses possibles avec leurs probabilités relatives. Les tests menés par l'équipe de recherche ont montré que, dans l'écriture créative, VS améliore significativement la diversité des sorties tout en maintenant la qualité. Lors de simulations de dialogues, les modèles utilisant VS sont capables de mieux simuler les changements de pensée et les fluctuations émotionnelles humaines. Dans les tâches de questions-réponses ouvertes, les réponses générées par le modèle sont plus proches des données du monde réel, présentant ainsi une plus grande diversité.
Cette méthode obtient des résultats notables en termes de diversité des sorties et permet également de régler la diversité de la génération en fixant des seuils de probabilité. Les utilisateurs peuvent ajuster le seuil d'échantillonnage selon leurs besoins pour obtenir des sorties plus créatives. La mise en œuvre de VS est simple, ne nécessite pas de re-entraînement du modèle et est compatible avec plusieurs grands modèles linguistiques, démontrant ainsi son grand potentiel d'application.
Points clés :
🌟 Une équipe de recherche a proposé la méthode « échantillonnage verbalisé », qui améliore significativement la diversité des sorties des modèles d'IA générative grâce à une simple instruction.
✍️ Avec la méthode VS, l'IA montre une plus grande similarité humaine dans les tâches comme l'écriture créative et les simulations de dialogue.
🚀 Les utilisateurs peuvent ajuster les seuils de probabilité pour contrôler davantage la diversité des sorties, de manière simple et sans avoir à re-entraîner le modèle.
