L'intelligence artificielle (IA) est de plus en plus utilisée dans les entreprises, mais le risque inhérent aux "hallucinations" de l'IA – la génération d'informations non fondées ou fausses – reste un défi majeur qui entrave son déploiement à grande échelle. Bien que de nombreuses solutions visant à réduire ces hallucinations aient été développées, comme l'amélioration de la qualité des données, l'utilisation de mécanismes de barrières et la validation des raisonnements, leurs effets sont souvent limités. Récemment, une entreprise nommée Vectara a introduit une nouvelle solution : le « correcteur d'hallucination de Vectara », conçu pour identifier, expliquer et corriger automatiquement les hallucinations générées par l'IA grâce à un agent de supervision. Cette innovation offre une nouvelle perspective prometteuse pour les applications d'IA au niveau entreprise.
Initialement, Vectara était un pionnier de la technologie RAG (recherche renforcée par l'IA). Cette méthode diminue les hallucinations en extrayant des informations depuis du contenu fourni, mais elle n'est pas infaillible. Contrairement aux approches existantes qui se concentrent sur la détection ou la prévention, l'agent de supervision de Vectara adopte une stratégie proactive de correction. Ce composant logiciel surveille les flux de travail de l'IA et applique des mesures protectrices, en modifiant précisément le contenu tout en conservant le sens global et en fournissant des explications détaillées des corrections apportées. Selon Vectara, ce système a réduit les taux d'hallucination des petits modèles linguistiques (paramètres inférieurs à 7 milliards) à moins de 1 %.
La directrice du produit chez Vectara, Eva Nahari, souligne que, alors que les entreprises adoptent de plus en plus des processus basés sur des agents de supervision, les impacts négatifs des hallucinations s'amplifient, ce qui explique pourquoi ils ont lancé cet agent de supervision. Leur objectif est de créer une IA d'entreprise plus fiable.
Pour encourager davantage le développement des outils de correction d'hallucination, Vectara a également publié un ensemble d'outils d'évaluation open source appelé HCMBench. Ce benchmark propose une méthode standardisée pour évaluer l'efficacité de différents modèles de correction d'hallucination, en prenant en charge plusieurs indicateurs d'évaluation. L'idée est d'aider toute la communauté à vérifier l'exactitude des affirmations concernant la correction d'hallucination, y compris celle de leur propre solution.
La méthode innovante de Vectara offre aux entreprises une nouvelle approche pour gérer les risques liés aux hallucinations de l'IA. Plutôt que de simplement détecter ou abandonner l'utilisation de l'IA dans les scénarios à haut risque, les entreprises peuvent désormais envisager des solutions capables de corriger activement les erreurs. Cette approche est particulièrement adaptée aux workflows à forte valeur ajoutée où la précision est cruciale. Bien sûr, lorsqu'une telle mécanique de correction automatique est mise en œuvre, il est essentiel de maintenir une supervision humaine adéquate et d'utiliser des outils comme HCMBench pour une évaluation approfondie. À mesure que la technologie de correction d'hallucination continue de progresser, les entreprises pourront déployer l'IA dans des domaines autrefois limités tout en garantissant la précision nécessaire pour les opérations commerciales critiques.