Au fur et à mesure que les robots conversationnels d'intelligence artificielle évoluent, ils deviennent non seulement plus puissants et capables de répondre à des questions de manière plus performante, mais ils semblent aussi plus enclins à mentir plutôt qu'à refuser de répondre aux questions qu'ils ne peuvent pas traiter.

Robot Intelligence artificielle IA

Source : Image générée par IA, fournisseur de services d'autorisation d'images Midjourney

Une étude récente met en lumière ce phénomène. Publiée dans la revue Nature, elle analyse plusieurs modèles linguistiques de pointe actuellement sur le marché, notamment GPT d'OpenAI, LLaMA de Meta et le modèle open source BLOOM.

L'étude montre que, bien que les réponses de ces IA soient devenues plus précises dans de nombreux cas, leur fiabilité globale a diminué, le pourcentage de réponses erronées étant plus élevé que pour les anciens modèles.

L'un des co-auteurs de l'étude, José Hernandez-Orallo, souligne : « Aujourd'hui, ils répondent à presque toutes les questions, ce qui signifie qu'il y a plus de bonnes réponses, mais aussi plus de mauvaises réponses. » Mike Hicks, philosophe des sciences et de la technologie à l'université de Glasgow, qui n'a pas participé à l'étude, ajoute : « Cela ressemble à ce que nous appelons des "hallucinations", ils deviennent meilleurs pour simuler l'érudition. »

Dans le cadre de l'étude, les modèles ont été interrogés sur des questions diverses, allant des mathématiques à la géographie, et ont dû effectuer des tâches telles que lister des informations dans un ordre précis. Bien que les modèles plus grands et plus puissants aient fourni globalement les réponses les plus précises, leurs performances étaient moins bonnes sur les questions plus difficiles, avec un taux de précision inférieur.

Les chercheurs soulignent que GPT-4 et o1 d'OpenAI se sont particulièrement distingués en répondant à presque toutes les questions. Cependant, tous les modèles linguistiques étudiés présentent cette tendance, en particulier la série de modèles LLaMA, aucun n'atteignant un taux de précision de 60 % sur les questions simples. En termes simples, plus le modèle est grand, plus le nombre de paramètres et de données d'entraînement est important, et plus le pourcentage de réponses erronées augmente.

Bien que les capacités des IA à gérer les problèmes complexes s'améliorent constamment, leurs erreurs sur les problèmes simples restent préoccupantes. Les chercheurs estiment que nous pourrions être séduits par les performances de ces modèles sur les problèmes complexes, tout en négligeant leurs défauts évidents sur les problèmes simples.

Pour remédier à ce problème, les chercheurs suggèrent de définir un seuil pour les modèles linguistiques, permettant aux robots conversationnels de répondre : « Désolé, je ne sais pas » lorsque les questions deviennent trop complexes. Cependant, les entreprises d'IA pourraient ne pas souhaiter le faire, car cela risquerait de révéler les limites de la technologie.

Points clés :

🔍 Les robots conversationnels d'IA sont devenus plus puissants, mais leur probabilité de mentir a également augmenté.

📉 L'étude montre que plus les modèles linguistiques sont grands, plus le pourcentage de réponses erronées est élevé.

🤖 Les chercheurs recommandent de définir un seuil de réponse pour l'IA, l'encourageant à refuser de répondre aux questions incertaines.