Une étude publiée récemment par des chercheurs israéliens montre qu'l'assistant Gemini de Google pourrait présenter des vulnérabilités importantes. Les attaquants n'ont pas besoin de compétences techniques avancées, mais peuvent utiliser des instructions simples cachées dans du contenu quotidien pour obtenir des données sensibles ou contrôler à distance des appareils physiques via l'assistant Gemini.
Une nouvelle étude intitulée « Just an Invite » (« Juste une invitation ») révèle que les assistants basés sur Gemini sont vulnérables aux attaques de type « injection de prompts ciblés ». Contrairement aux attaques classiques de piratage, ces attaques ne nécessitent ni accès direct au modèle d'IA ni de compétences techniques spécifiques. Elles consistent à cacher des instructions malveillantes dans des courriels, invitations au calendrier ou documents partagés apparemment inoffensifs. Lorsque les utilisateurs demandent l'aide de Gemini dans Gmail, Google Calendar ou Google Assistant, ces instructions cachées sont activées et exécutées.
Le groupe de recherche a démontré la gravité de cette attaque lors de sa présentation. Les attaquants peuvent contrôler des appareils domestiques intelligents, enregistrer des appels Zoom ou même localiser un utilisateur via des messages Gmail modifiés ou des invitations Google Calendar. En utilisant quelques mots apparemment inoffensants, comme « merci » ou « super », les chercheurs ont réussi à éteindre les lumières à distance, à ouvrir des fenêtres ou même à allumer une chaudière domestique.
Risques multiples d'attaque, vulnérabilités de sécurité urgentes à résoudre
Les chercheurs ont décrit cinq types d'attaques potentiels et 14 scénarios réels, qui pourraient menacer à la fois les systèmes numériques et physiques. Ils comprennent :
Contamination à court terme du contexte : Les attaquants influencent temporairement les réponses de Gemini via des instructions malveillantes.
Manipulation à long terme des données stockées : Utilisation de la fonction de stockage de données de Gemini pour manipuler des informations à long terme.
Utilisation d'outils internes : Abus des outils internes de Gemini pour des objectifs malveillants.
Accès aux autres services Google : Pénétration dans d'autres services Google comme Google Home via Gemini.
Lancement d'applications tierces : Lancement à distance d'applications tierces comme Zoom sur des appareils Android.
Google met en place des mesures de correction pour faire face aux menaces
Les chercheurs ont évalué ces menaces à l'aide du cadre d'analyse TARA, et ont constaté que 73% des menaces relèvent de la catégorie « haute menace ». Cela signifie que ces attaques sont non seulement simples à mettre en œuvre, mais aussi très graves, soulignant ainsi l'urgence d'améliorer les mesures de sécurité. Depuis GPT-3, les experts en sécurité avaient déjà identifié les vulnérabilités des grands modèles linguistiques (LLM), comme le fait qu'un simple « ignorer les instructions précédentes » puisse contourner les mesures de protection. Cette étude confirme davantage que même les modèles d'IA les plus avancés actuels présentent encore ces vulnérabilités.
Après avoir pris connaissance de ces vulnérabilités en février 2025, Google a mis en place plusieurs mesures de sécurité pour les corriger, notamment la confirmation obligatoire des opérations sensibles par les utilisateurs, le renforcement de la détection et du filtrage des URL suspectes, ainsi que l'utilisation de nouveaux classificateurs pour repérer les injections de prompts indirectes. Google affirme avoir activé ces mesures de défense dans toutes les applications Gemini et avoir terminé les tests internes.
Cette étude a été réalisée par une équipe composée de l'Université de Tel Aviv, de l'Institut technologique d'Israël et de la société de sécurité SafeBreach.