- Microsofts neues AI-Tool für Edge ist jetzt in den USA verfügbar und beobachtet den Bildschirm, um kontextbezogene Antworten zu liefern. Die Technologie funktioniert nur mit neun ausgewählten Webseiten, darunter Amazon und Geoguessr. Copilot Vision ermöglicht es, ohne lange Kontextbeschreibungen auszukommen, indem es das visuelle Geschehen direkt wahrnimmt. Die Funktion ist auf Sprachbefehle ausgelegt und arbeitet ohne Aufzeichnung der Bildschirmaktivitäten. Microsoft betont die datenschutzfreundliche Nutzung nur nach ausdrücklicher Zustimmung des Nutzers.
Nach Monaten des Erwartens und neugieriger Vorfreude ist Microsofts neuestes AI-Tool jetzt endlich für alle Edge-Benutzer in den USA verfügbar. Dieses beeindruckende Tool ist dazu bestimmt, Ihren Bildschirm genau im Auge zu behalten, während Sie surfen, damit Sie ihm vielfältige Fragen zu Ihrer aktuellen Tätigkeit stellen und kontextbezogene Antworten erhalten können. Allerdings hat diese neue Technologie einen Haken: Sie funktioniert gegenwärtig nur mit neun ausgewählten Webseiten.
Diese Auswahl an Webseiten erscheint größtenteils ziemlich willkürlich. Amazon mag noch nachvollziehbar sein, aber warum Geoguessr? Schließlich ist der ganze Reiz dieser Seite, zu erraten, wo man sich gerade auf der Weltkarte befindet, ohne jegliche Hilfe. Hier ist die vollständige Liste der kompatiblen Seiten:
Auswahl an Webseiten
Wikipedia, Tripadvisor, Williams Sonoma, Amazon, Target, Wayfair, Food & Wine, OpenTable und Geoguessr. Diese Vielzahl an Orten eröffnet interessante Anwendungsfälle, wie von Microsofts AI-CEO Mustafa Suleyman auf Bluesky vorgestellt.
Falls Sie Copilot eine Frage stellen wollen, müssen Sie üblicherweise selbst lange Kontextabsätze schreiben. Das ist umständlich und hemmt den Arbeitsfluss, besonders wenn Sie zu dem betreffenden Thema nur wenig wissen.
Copilot Vision: Ein neuer Ansatz
Mit Copilot Vision entfällt die mühsame Beschreibung von Dingen, die man betrachtet oder diskutiert. Stattdessen kann das AI-Modell das visuelle Geschehen direkt wahrnehmen. Suleymans Beispiele zeigen, dass man beispielsweise bei Amazon nach „atmungsaktiven Bettlaken“ suchen kann, und Copilot dann die passenden Produkte ausfindig macht oder Vorschläge für Materialien zum weiteren Suchen bereitstellt.
Auf der Food & Wine-Rezeptseite ermöglicht Copilot ein automatisiertes „Hands-Free“-Kocherlebnis, indem es Fragen beantwortet und Abschnitte aus dem Rezept vorliest. Das ganze Erlebnis ist darauf ausgelegt, per Sprachbefehle zu funktionieren — Sie sprechen direkt zur AI, und diese antwortet.
Täuschend einfacher, sicherer Zugang
Microsoft geht mit diesem Feature so behutsam vor, weil es sicherlich vermeiden will, ähnliche Kontroversen wie bei Recall zu provozieren. Die Beschränkung auf wenige unterstützte Websites hat mit Urheberrechtsfragen zu tun, und das Unternehmen betont, dass die Funktion nur nach ausdrücklicher Zustimmung genutzt werden kann. Sie zeichnet keinerlei Bildschirmaktivitäten auf, ist nur nach Aktivierung im Einsatz und löscht die Daten sofort nach Beendigung der Sitzung.
Wer neugierig ist, es auszuprobieren, kann dies mit einer Anleitung, die schrittweise durch den Einrichtungsprozess führt, problemlos tun. Ein vorsichtiger Testlauf mag klug erscheinen, bevor man sich in ein ausgesprochen neugieriges Abenteuer mit Microsofts schirmseitigem AI-Begleiter stürzt.
