Malgré les progrès remarquables de l'intelligence artificielle (IA) dans le domaine médical, une nouvelle étude révèle des lacunes importantes des IA généralistes comme ChatGPT dans le diagnostic médical complexe.
Une équipe de chercheurs dirigée par Amrit Kirpalani, spécialiste de l'enseignement médical à l'Université Western de l'Ontario au Canada, a constaté que ChatGPT a commis des erreurs dans 76 cas sur 150 cas médicaux complexes provenant de la base de données Medscape, soit un taux d'erreur supérieur à 50 %.
L'étude a utilisé la banque de questions de Medscape, dont les cas sont plus proches de la réalité médicale que l'examen d'autorisation médicale américaine (USMLE), incluant des complications multiples et des défis diagnostiques. L'équipe de recherche a contourné l'interdiction d'OpenAI concernant l'utilisation de ChatGPT pour des conseils médicaux grâce à une conception ingénieuse des invites.
Source de l'image : Image générée par IA, fournisseur de services d'autorisation d'images Midjourney
Kirpalani souligne que les mauvaises performances de ChatGPT sont dues à deux facteurs : premièrement, ChatGPT manque de connaissances approfondies en médecine par rapport aux IA médicales spécialisées ; deuxièmement, ChatGPT est moins performant dans les « zones grises » de la médecine, incapable d'interpréter des résultats d'examen légèrement anormaux avec la même flexibilité qu'un médecin humain.
Plus inquiétant encore, même lorsqu'il fournit un diagnostic erroné, ChatGPT peut offrir des explications apparemment raisonnables et convaincantes. Cette caractéristique pourrait induire en erreur les non-professionnels et augmenter le risque de propagation de fausses informations.
Néanmoins, l'IA conserve une certaine valeur dans le domaine médical. Edward Tran, coauteur de l'étude, indique que ChatGPT est devenu un outil important dans l'enseignement médical, aidant les étudiants à organiser leurs notes, à clarifier les algorithmes de diagnostic et à se préparer aux examens. Cependant, Kirpalani recommande fortement au public de ne pas utiliser ChatGPT pour obtenir des conseils médicaux et de continuer à consulter des professionnels de santé.
Kirpalani estime que la création de médecins IA fiables nécessite un entraînement intensif sur des données cliniques et une surveillance rigoureuse. À court terme, l'IA est plus susceptible d'améliorer le travail des médecins humains que de les remplacer entièrement. Avec les progrès technologiques constants, l'application de l'IA dans le domaine médical reste un sujet d'attention.
