Microsoft verfolgt seine KI-Strategie umfassend und integriert Copilot als zentralen Bestandteil von Windows 11. Es wird eine Reihe von generativen KI-Funktionen eingeführt, die die Art und Weise, wie Benutzer mit ihrem PC interagieren, grundlegend verändern sollen. Die neuen Funktionen umfassen Sprachsteuerung, Analyse des Bildschirminhalts und begrenzte lokale Automatisierungs-Agenten, mit dem Ziel, Copilot zum „Hauptweg“ der Interaktion zwischen Benutzer und PC zu machen.
„Hey, Copilot“: Sprachsteuerung wird zur Norm
Benutzer können nun Windows-PCs mit der Aussage „Hey, Copilot“ aktivieren. Diese Funktion ist optional und zeigt nach Aktivierung ein Mikrofon-Symbol und ein Audiogramm an. Microsoft behauptet, dass Benutzer, die Sprache verwenden, zweimal so oft mit Copilot interagieren wie Textbenutzer, was auf eine höhere Benutzerbindung durch Sprachinteraktion hindeutet. Die Sitzungen können automatisch oder mit dem Befehl „Bis bald“ beendet werden.
Zur besseren Zugänglichkeit wird Copilot in die Windows-Aufgabenleiste integriert und enthält einen neuen Button für Sprach- und visuelle Tools. Benutzer können über Sprachbefehle auf die Windows-Einstellungen zugreifen. Microsoft plant zudem eine reine Textoption, um den Bedürfnissen der Benutzer gerecht zu werden, die nicht sprechen möchten.
Copilot Vision: Echtzeit-Bildschirmanalyse und kontextuelle Hilfe
Die Funktion „Copilot Vision“ ist jetzt weltweit auf allen Geräten verfügbar, die Copilot unterstützen. Sie kann den Inhalt des Bildschirms analysieren und während der Fotosbearbeitung, im Spiel oder bei Office-Arbeiten kontextuelle Hilfe bieten. Microsoft sagt, dass Copilot Vision ganze Dokumente in Word, Excel und PowerPoint verarbeiten und analysieren kann und dadurch starke Produktivitätsunterstützung bietet.
„Copilot Actions“: Begrenzter autonomer lokaler Agent
Microsoft hat außerdem eine Testfunktion namens „Copilot Actions“ eingeführt, die es Copilot ermöglicht, einige einfache Aufgaben lokal auf dem Computer zu erledigen, wie zum Beispiel die Suche nach PDFs oder das Sortieren von Fotos. Diese Funktion wird zunächst als Vorschauversion in Copilot Labs für Insider-Programm-Nutzer veröffentlicht. Die Nutzer können jederzeit beobachten, wie Copilot arbeitet, und jederzeit eingreifen.
Microsoft räumt ein, dass diese agentenbasierten Funktionen derzeit noch eingeschränkt und möglicherweise fehlerhaft sind und noch nicht zuverlässig komplexe Software steuern können. Da Studien zeigen, dass agentenbasierte KI-Systeme Sicherheitsrisiken darstellen können, betont Microsoft, dass die Nutzertests entscheidend für die Verbesserung der Zuverlässigkeit sein werden.
Zusammenarbeit mit der chinesischen Start-up-Firma Manus: Systemweiter lokaler Dateizugriff
Des Weiteren hat Microsoft eine Integration mit der chinesischen Start-up-Firma Manus vorgenommen. Laut Berichten verwendet der Manus-Agent das Anthropic-Modell, das in den Windows-Datei-Explorer eingebettet ist und es Benutzern ermöglicht, mit nur einem Rechtsklick auf lokale Dateien Webseiten zu erstellen. Manus nutzt ein „Model Context Protocol“, das von Anthropic entworfen wurde, um systemweisen Zugriff auf lokale Inhalte zu ermöglichen.
Erweiterung der Netzwerk-Dienste und Spieleanwendungen
Copilot Connectors ermöglichen es Benutzern, Daten aus verbundenen Diensten wie OneDrive, Outlook, Gmail oder Google Drive abzuholen. Benutzer können beispielsweise Suchanfragen wie „Finde meine Zahnarzt-Termindetails“ verwenden, um Termine, Kontakte oder Dokumente zu suchen und die Ergebnisse direkt in Word, Excel oder PowerPoint einzufügen.
In der Spielbranche wurde „Gaming Copilot“ kürzlich auf dem Windows-Handheld von Asus ROG Xbox Ally eingeführt. Mit einem einfachen Klick kann der Benutzer aktivieren und im Spiel wie „Minecraft“ Navigation oder Erklärungen zu Spielmechanismen erhalten, ohne das Spiel zu pausieren.
Mehrere neue Funktionen können auf jedem Windows 11-Gerät mit Copilot ausgeführt werden, doch Microsoft empfiehlt, Copilot+ -Computer, um die Verarbeitungsgeschwindigkeit zu erhöhen und lokale KI-Aufgaben durchzuführen. Nur bestimmte „Click to Do“ Zoom-Integrationen verlangen explizit den Einsatz von Copilot+-Computern und die Teilnahme am Windows Insider-Programm.
