- Zico Kolter erforscht fortschrittliche KI-Modelle und deren Sicherheitslücken an der Carnegie Mellon University. Kolter entwickelt sicherheitsbewusstere KI-Modelle, um tiefgreifenden Angriffen besser standzuhalten. Eine Partnerschaft zwischen Carnegie Mellon und Google soll die Rechenkapazität für KI-Forschung erheblich steigern. Die Kommunikation zwischen KI-Agenten könnte neue gesellschaftliche und wirtschaftliche Dynamiken schaffen. Kolter sieht darin das Potenzial für verheerende Sicherheitslücken in agentischen Systemen.
Zico Kolter beeindruckt durch seine Fähigkeit, fortschrittliche KI-Modelle auf überraschende und bedeutsame Weise zu beeinflussen. An der Carnegie Mellon University erforscht seine Gruppe, wie man KI-Modelle in die Irre führen oder dazu bringen kann, sich von ihrer schlechtesten Seite zu zeigen. Kolter, Professor an der CMU und technischer Berater bei Gray Swan, einem Start-up für KI-Sicherheit, hat kürzlich eine Position im Verwaltungsrat eines der weltweit führenden KI-Unternehmen angenommen. Neben der Erkundung von Sicherheitslücken kommerzieller KI-Modelle entwickelt Kolter auch eigene, sicherheitsbewusstere Modelle. Da KI zunehmend autonom wird, sieht Kolter neue Herausforderungen voraus – insbesondere wenn die Modelle beginnen, miteinander zu kommunizieren.
Fortschritte in der Sicherheitsforschung
Ein zentrales Anliegen Kolters ist das sichere Training von Modellen. Er und sein Team arbeiten intensiv daran, zu verstehen, wie sich Modelle knacken und Schutzmaßnahmen umgehen lassen. Dabei stellt sich unweigerlich die Frage, wie man Modelle aufbauen kann, die tiefgreifenderen Angriffen standhalten. Kolters Fokus liegt darauf, Modelle zu konstruieren, die von Natur aus robuster sind. Diese sind weit weniger umfangreich als die riesigen Modelle mit Hunderten Milliarden von Parametern. Dennoch ist das vollständige Vortraining dieser maßgeschneiderten Modelle ein äußerst rechenintensiver Vorgang.
Carnegie Mellon hat kürzlich eine Partnerschaft mit Google angekündigt, was der Universität erheblich mehr Rechenkapazität verspricht. Diese Zusammenarbeit stellt einen bedeutenden Fortschritt für die Forschungsarbeit an der CMU dar. Während akademische Einrichtungen zwar nie die Ressourcen der Großindustrie erreichen werden, wird an dieser Schwelle klar, dass eine gewisse Basis an Rechenleistung unerlässlich ist, um entwickelte Techniken überhaupt demonstrieren zu können. Ein solcher Zugang zu Ressourcen wird entscheidend dafür sein, dass CMU im Bereich KI-Sicherheit weiterhin bedeutende Beiträge leisten kann.
KI-Agenten und deren Potenzial
Kolters Erkenntnisse verdeutlichen, dass selbst beeindruckende KI-Modelle gefährdet sind. Im Kontext von agentischen Systemen – Programmen, die eigenständig im Internet oder auf Geräten agieren – wird das Risikopotenzial noch deutlicher. Während frühe AI-Chatsysteme vielleicht kaum ernstzunehmende Gefahren boten, könnte die gestiegene Entscheidungsfähigkeit von fortgeschrittenen Modellen sehr wohl Schaden anrichten. Besonders besorgniserregend ist das Umfeld, in dem Modelle nicht mehr bloß in abgeschotteten Systemen agieren, sondern in der realen Welt interagieren können. Hier sieht Kolter eine Analogie zu bekannten Software-Schwachstellenmustern, wie Pufferüberläufen: Die Manipulationsmöglichkeiten durch externe Akteure wachsen enorm.
Auf diesem Gebiet vollzieht sich gerade ein Wandel. Sicherheitsmaßnahmen sind im fortschrittlichen Stadium, jedoch könnten potenzielle Sicherheitslücken in Modellen verheerende Konsequenzen haben, vor allem, wenn die Kontrolle über Agentensysteme von Dritten missbraucht wird. Kolters Arbeit zielt darauf ab, solche agentischen Systeme sicherer zu gestalten.
Vernetzung von KI-Agenten
Der Gedanke, dass KI-Agenten in naher Zukunft miteinander kommunizieren und möglicherweise sogar Verhandlungen führen könnten, scheint für Kolter unausweichlich. Wir könnten uns in einer Welt wiederfinden, in der zahlreiche Agenten im Auftrag unterschiedlicher Nutzer miteinander interagieren. Ein tiefgreifendes Verständnis, wie sich diese intelligenten Systeme untereinander und mit der menschlichen Welt vernetzen, könnte sich als essenziell erweisen. Kolter beschäftigt sich in diesem Rahmen insbesondere mit der Erweiterung der Spieltheorie von menschlichem auf agentisches Verhalten. Die komplexen Interaktionen zwischen solchen Agenten könnten neue Dynamiken aufwerfen, die weitreichende Auswirkungen auf Gesellschaft und Wirtschaft haben könnten.
