A Microsoft está avançando com sua estratégia de inteligência artificial, integrando o Copilot como componente central do Windows 11, lançando uma série de funcionalidades de IA gerativa, com o objetivo de transformar completamente a forma como os usuários interagem com seus PCs. Novas funcionalidades incluem controle por voz, análise do conteúdo da tela e agentes de automação local limitados, com o objetivo de tornar o Copilot o "principal meio" de interação entre o usuário e o PC.
"Oi, Copilot": controle por voz se torna mainstream
Os usuários agora podem ativar o Copilot no Windows usando a frase "Olá, Copilot". Essa função é opcional e, quando ativada, exibe um ícone de microfone e sinal de áudio. A Microsoft afirma que os usuários que usam voz interagem com o Copilot duas vezes mais do que os que usam texto, indicando maior engajamento com a interação por voz. As sessões podem ser encerradas automaticamente ou com o comando "Até logo".
Para facilitar o acesso, o Copilot será adicionado à barra de tarefas do Windows, incluindo um novo botão para ferramentas de voz e visualização. Os usuários poderão acessar as configurações do Windows por meio de comandos de voz. A Microsoft também planeja oferecer uma opção de texto puro, atendendo às necessidades dos usuários que desejam interagir sem precisar falar.
Copilot Vision: Análise em tempo real da tela e ajuda contextual
A funcionalidade "Copilot Vision" foi lançada globalmente em todos os dispositivos compatíveis com o Copilot. Essa funcionalidade é capaz de analisar o conteúdo da tela e fornecer ajuda relacionada ao contexto enquanto o usuário edita fotos, joga ou trabalha com documentos Office. A Microsoft afirma que o Copilot Vision pode processar e analisar documentos completos do Word, Excel e PowerPoint, oferecendo suporte robusto à produtividade.
"Copilot Actions": agente local limitado e autônomo
A Microsoft também lançou uma funcionalidade experimental chamada "Copilot Actions", que permite que o Copilot execute algumas tarefas simples no computador local, como pesquisar PDFs ou organizar fotos. Essa funcionalidade será inicialmente lançada na versão prévia no Copilot Labs para usuários do Insider Program. Os usuários poderão observar o funcionamento do Copilot a qualquer momento e intervir quando necessário.
A Microsoft reconhece que essas funcionalidades baseadas em agentes ainda são limitadas e podem apresentar erros, não sendo capazes de controlar com confiança softwares complexos. Considerando estudos que apontam riscos de segurança associados a sistemas de IA baseados em agentes, a Microsoft afirma que testes pelos usuários serão fundamentais para aumentar a confiabilidade.
Parceria com a startup chinesa Manus: acesso local a arquivos no nível do sistema
Além disso, a Microsoft integrou-se com a startup chinesa Manus. Relatos indicam que o agente da Manus utiliza o modelo Anthropic, incorporado ao Explorer do Windows, permitindo que os usuários criem sites a partir de arquivos locais apenas clicando com o botão direito. A Manus utiliza um "protocolo de contexto de modelo" projetado pela Anthropic, permitindo acesso a conteúdos locais em todo o sistema.
Serviços online e expansão para jogos
Copilot Connectors permite que os usuários extraiam dados de serviços conectados, como OneDrive, Outlook, Gmail ou Google Drive. Os usuários podem usar dicas como "encontre meus detalhes de consulta ao dentista" para pesquisar consultas, contatos ou documentos e importar os resultados diretamente para Word, Excel ou PowerPoint.
No setor de jogos, o "Gaming Copilot" foi lançado na handheld Windows da Asus ROG Xbox Ally. Os usuários podem ativar o Copilot pressionando um botão, sem precisar pausar o jogo, ajudando a navegar ou explicar mecanismos em jogos como Minecraft.
A maioria das novas funcionalidades pode ser executada em qualquer dispositivo Windows 11 compatível com o Copilot, mas a Microsoft recomenda o uso de computadores Copilot+ para melhorar a velocidade de processamento e a execução de tarefas de IA locais. Apenas algumas funcionalidades específicas, como a "Click to Do" integração Zoom
