Microsoft déploie activement sa stratégie d'intelligence artificielle, intégrant Copilot comme composant central de Windows 11, en lançant une série de fonctionnalités d'IA générative visant à transformer radicalement la manière dont les utilisateurs interagissent avec leur ordinateur. Ces nouvelles fonctionnalités comprennent le contrôle vocal, l'analyse du contenu de l'écran et un agent d'automatisation local limité, avec pour objectif que Copilot devienne le « principal moyen » d'interaction entre l'utilisateur et son PC.
« Salut, Copilot » : le contrôle vocal devient courant
Les utilisateurs peuvent maintenant activer Copilot sur leur PC Windows en disant « Salut, Copilot ». Cette fonction est optionnelle, et une fois activée, un indicateur de microphone et un signal audio s'affichent. Microsoft affirme que les utilisateurs qui utilisent le vocal interagissent deux fois plus souvent avec Copilot que ceux qui utilisent le texte, ce qui indique une plus grande fidélisation des utilisateurs. Les sessions peuvent se terminer automatiquement ou par la commande « Au revoir ».
Pour faciliter l'accès, Copilot sera ajouté à la barre des tâches de Windows, incluant un nouveau bouton pour les outils vocaux et visuels, permettant aux utilisateurs d'accéder aux paramètres Windows via des commandes vocales. Microsoft prévoit également d'offrir une option en texte pur, répondant ainsi aux besoins des utilisateurs qui souhaitent interagir sans parler.
Copilot Vision : analyse en temps réel de l'écran et aide contextuelle
La fonction Copilot Vision est désormais disponible sur tous les appareils prenant en charge Copilot à travers le monde. Cette fonction peut analyser le contenu de l'écran et fournir un aide contextuelle pendant que l'utilisateur effectue des éditions photo, des jeux ou des travaux Office. Microsoft affirme que Copilot Vision peut traiter et analyser l'ensemble des documents dans Word, Excel et PowerPoint, offrant un soutien puissant pour la productivité.
« Copilot Actions » : un agent local limité
Microsoft a également lancé une fonction expérimentale nommée Copilot Actions, qui permet à Copilot de traiter certaines tâches simples sur l'ordinateur local, comme rechercher des PDF ou organiser des photos. Cette fonction sera d'abord disponible en version bêta sur Copilot Labs pour les utilisateurs du programme Insider. Les utilisateurs pourront observer le travail de Copilot à tout moment et intervenir si nécessaire.
Microsoft reconnaît que ces fonctions basées sur l'agent sont encore limitées et peuvent présenter des erreurs, et qu'elles ne sont pas encore capables de contrôler fiablement des logiciels complexes. Étant donné que des études ont montré que les systèmes d'IA basés sur des agents peuvent présenter des risques de sécurité, Microsoft affirme que les tests des utilisateurs seront cruciaux pour améliorer la fiabilité.
Partenariat avec la jeune entreprise chinoise Manus : accès au fichier local au niveau système
En outre, Microsoft s'est intégré avec la jeune entreprise chinoise Manus. Selon les informations, l'agent Manus utilise le modèle Anthropic, intégré dans l'Explorateur de fichiers Windows, permettant aux utilisateurs de créer un site web à partir de fichiers locaux simplement en cliquant avec le bouton droit. Manus utilise un « protocole de contexte de modèle » conçu par Anthropic, permettant un accès global au contenu local.
Extension des services connectés et applications de jeux
Copilot Connectors permet aux utilisateurs d'extraire des données provenant de services associés tels que OneDrive, Outlook, Gmail ou Google Drive. Les utilisateurs peuvent utiliser des suggestions comme « Trouver les détails de mon rendez-vous chez le dentiste » pour rechercher des rendez-vous, contacts ou documents, et importer directement les résultats dans Word, Excel ou PowerPoint.
Dans le domaine des jeux, « Gaming Copilot » est désormais disponible sur le périphérique portable Windows de Asus ROG Xbox Ally. Les utilisateurs n'ont qu'à appuyer sur un bouton pour activer le mode de navigation ou d'explication des mécanismes du jeu dans des jeux comme Minecraft, sans avoir besoin de suspendre le jeu.
La plupart des nouvelles fonctionnalités peuvent être exécutées sur n'importe quel appareil Windows 11 supportant Copilot, mais Microsoft recommande d'utiliser des ordinateurs Copilot+ pour améliorer la vitesse de traitement et l'exécution des tâches d'IA locales. Seules certaines fonctions spécifiques de « Click to Do » intégrées à Zoom
