Le chatbot d'IA générative Grok, développé par xAI, a bénéficié d'une mise à jour majeure améliorant considérablement ses fonctionnalités. Il intègre désormais le traitement visuel, le traitement audio multilingue et la recherche en temps réel en mode vocal. Cette mise à jour marque une avancée significative de Grok dans le domaine de l'IA multimodale, offrant aux utilisateurs une expérience interactive plus intelligente et plus pratique. AIbase vous détaille ci-dessous les points forts et l'importance de cette mise à jour.
Progrès en matière de capacités visuelles
La capacité de traitement visuel de Grok est l'un des principaux points forts de cette mise à jour. Bien qu'en avril 2024, xAI ait annoncé que Grok-1.5Vision (Grok-1.5V) était capable de traiter des informations visuelles telles que des documents, des graphiques, des captures d'écran et des photos, cette version n'a jamais été accessible au public. Aujourd'hui, la fonctionnalité visuelle de Grok est officiellement lancée. Les utilisateurs peuvent télécharger des images et permettre à Grok d'analyser des contenus visuels complexes, par exemple interpréter des graphiques de données, identifier des objets ou convertir des informations visuelles en code exécutable. Cela améliore non seulement la valeur applicative de Grok dans des scénarios réels, mais lui permet également d'exceller dans les tâches de compréhension spatiale et de raisonnement visuel, notamment en démontrant un avantage significatif dans les tests de référence RealWorldQA.
Il est à noter que la capacité visuelle de Grok, combinée à sa fonction d'acquisition de données en temps réel, peut améliorer encore ses performances dans l'analyse des actualités et l'interprétation des contenus des médias sociaux. Par exemple, un utilisateur peut télécharger une image d'actualité, et Grok, en utilisant les informations en temps réel de la plateforme X, peut fournir une analyse contextuelle et une interprétation de l'événement.
Traitement audio multilingue : une nouvelle expérience d’interaction vocale dans plus de 145 langues
La fonction de traitement audio multilingue de Grok est également remarquable. Grâce à l'intégration de l'extension « VoiceWave », Grok prend désormais en charge l'interaction vocale en temps réel dans plus de 145 langues, notamment l'anglais, l'espagnol, le français, le japonais, le chinois, le turc et l'hindi, couvrant ainsi les principales langues du monde. Cette fonctionnalité permet non seulement des conversations vocales naturelles et fluides, mais prend également en charge la conversion parole-texte, la relecture vocale et la mise en surbrillance synchronisée du texte, améliorant ainsi considérablement l'expérience utilisateur.
Pour les utilisateurs ayant besoin de communiquer entre plusieurs langues, le traitement audio multilingue de Grok est une aubaine. Que ce soit pour apprendre une nouvelle langue, gérer un service client multilingue ou créer du contenu internationalisé, Grok peut fournir une réponse vocale personnalisée avec une prononciation native et une vitesse et une intonation réglables.
Recherche en temps réel en mode vocal : DeepSearch pour une acquisition d’informations instantanée
La fonction de recherche en temps réel ajoutée à Grok en mode vocal consolide son positionnement de « chercheur de vérité ». S'appuyant sur la technologie DeepSearch, Grok peut, via des instructions vocales, obtenir instantanément les informations les plus récentes sur le Web et la plateforme X, générant des réponses précises et complètes. Comparée à la saisie de texte traditionnelle, la recherche vocale permet aux utilisateurs d'obtenir plus rapidement des informations sur les tendances, les actualités ou les sujets d'actualité.
Par exemple, lorsqu'un utilisateur demande « les dernières nouvelles technologiques », Grok peut non seulement répondre rapidement par la voix, mais aussi citer les derniers messages de la plateforme X et les ressources Web, garantissant l'actualité et la fiabilité des informations. De plus, le processus de raisonnement transparent de DeepSearch permet aux utilisateurs de consulter les étapes de déduction logique de Grok et les documents sources, améliorant encore la fiabilité des informations.
Le soutien technique derrière les fonctionnalités : le supercalculateur Colossus et l’apprentissage par renforcement
Le succès de cette mise à jour repose sur les investissements continus de xAI au niveau technique. L'entraînement de Grok3 s'appuie sur le supercalculateur Colossus, équipé de 200 000 GPU NVIDIA H100, offrant une puissance de calcul 10 fois supérieure à celle des modèles précédents. Cela permet à Grok d'être plus rapide et plus précis dans le traitement des tâches complexes, notamment dans les scénarios nécessitant une fusion multimodale.
De plus, Grok3 a optimisé ses capacités de raisonnement grâce à un apprentissage par renforcement (RL) à grande échelle, capable de corriger les erreurs, d'explorer des solutions et de générer des réponses en quelques secondes ou minutes. Cette capacité à « penser comme un humain » permet à Grok de surpasser plusieurs modèles concurrents, notamment GPT-4o, Gemini 1.5 et Claude 3.5 Sonnet, dans les tests de référence en mathématiques, en sciences et en codage.
