- In einer Wohnung in Tel Aviv demonstrieren Sicherheitsforscher die Entführung von Geminis KI, um Geräte ferngesteuert zu aktivieren. Die Attacken basieren auf manipulierten Google-Kalendereinladungen und zeigen erstmals physische Konsequenzen eines Angriffs auf ein generatives KI-System. Forscher warnen vor den Risiken, wenn LLMs mit sicherheitsrelevanten Maschinen verbunden werden. Sicherheitslücken in generativen KI-Systemen ermöglichen Spam-Verbreitung und Datendiebstahl, was Google zu erhöhten Sicherheitsmaßnahmen veranlasst. Google plant die Nutzung von maschinellem Lernen und verstärkten Nutzerbestätigungen, um Angriffe frühzeitig zu erkennen und zu verhindern.
In einer trendigen Wohnung in Tel Aviv geschehen merkwürdige Dinge: Die internetverbundenen Lichter flackern unerwartet, intelligente Rollläden öffnen sich ohne Zutun, und der vernetzte Boiler beginnt selbstständig mit dem Aufheizen der stilvollen Wohnung. Die Bewohner selbst haben keine dieser Aktionen ausgelöst. Sie haben ihre intelligenten Geräte nicht in einen Zeitplan eingefügt. Tatsächlich sind sie Ziel eines Angriffs geworden. Diese unerwarteten Ereignisse sind das Werk von drei Sicherheitsforschern, die eine ausgefeilte Entführung von Geminis künstlicher Intelligenz demonstrieren, dem Vorzeigemodell von Google.
Ein neuer Meilenstein in der Sicherheitsforschung
Der Ursprung dieser Attacken liegt in einer manipulierten Google-Kalendereinladung, die Anweisungen enthält, wann die smarten Geräte aktiviert werden sollen. Sobald die Forscher Gemini bitten, ihre anstehenden Termine zusammenzufassen, werden die schlafenden Anweisungen wirksam, und die Geräte werden aktiv. Diese unterstützten Demonstrationen markieren laut den Forschern das erste Mal, dass ein Angriff auf ein generatives KI-System physische Konsequenzen hat. Dies deutet auf das mögliche Chaos und die Risiken hin, die durch Angriffe auf große Sprachmodelle verursacht werden könnten, sobald sie vermehrt mit Geräten interagieren und für Menschen arbeiten. „LLMs stehen kurz davor, in physische Humanoide, in teil- und vollautonome Fahrzeuge integriert zu werden. Wir müssen wirklich verstehen, wie man LLMs sichert, bevor wir sie mit solchen Maschinen verknüpfen, bei denen die Ergebnisse sicherheitsrelevant und nicht nur datenschutzrelevant sein werden“, sagt Ben Nassi, Forscher an der Universität Tel Aviv.
Hinter den Kulissen der Demonstration
Die drei Hacks gegen das Smart Home sind Teil einer breiteren Forschung, die die Forscher unternommen haben. Dieses Mal zeigt sich, dass generative KI-Systeme Spam-Links versenden, unangemessene Inhalte generieren, die Zoom-App öffnen und Anrufe starten, E-Mail- und Termindetails aus einem Webbrowser stehlen und Dateien aus einem Smartphone-Browser herunterladen können. Google’s Andy Wen, Sicherheitsproduktdirektor für Google Workspace, betont zwar, dass diese Schwachstellen bislang nicht von böswilligen Hackern ausgenutzt wurden, dennoch nimmt das Unternehmen die Angelegenheit „sehr ernst“ und hat bereits mehrere Sicherheitsmaßnahmen eingeführt. Die Forscher berichteten Google bereits im Februar von ihren Entdeckungen und trafen sich mit den Teams, die sich in den darauf folgenden Monaten mit den Sicherheitslücken auseinandersetzten.
Zukünftige Sicherheitsmaßnahmen
Google plant, die Rollouts zu beschleunigen, einschließlich der Nutzung von maschinellem Lernen, um potenzielle Angriffe zu erkennen. Zudem sind verstärkte Nutzerbestätigungen erforderlich, bevor AI-gestützte Aktionen ausgeführt werden. “Manchmal gibt es einfach Dinge, die nicht vollständig automatisiert werden sollten, und die Nutzer sollten involviert sein”, unterstreicht Wen. Die von den Forschern entwickelten indirect prompt injections nehmen dabei eine Schlüsselrolle ein. Ohne manuelle Eingabe des Nutzers wird der fragwürdige Befehl von einer externen Quelle eingefügt. Dies könnte ein hinterhältiger Satz von Befehlen sein, eingebettet in Text auf einer Webseite, den ein AI-System zusammenfassen soll.
