- Prominente KI-Technologieunternehmen und Gruppen für algorithmische Integrität haben auf der Hacker-Konferenz 2023 in Las Vegas zusammengearbeitet, um Schwachstellen in KI-Systemen zu identifizieren. Humane Intelligence hat in Zusammenarbeit mit dem US National Institute of Standards and Technology (NIST) einen landesweiten Red-Teaming-Wettbewerb gestartet, an dem alle US-Bürger teilnehmen können. Das Ziel des Wettbewerbs ist es, die Fähigkeiten zur rigorosen Prüfung der Sicherheit, Belastbarkeit und Ethik generativer KI-Technologien zu erweitern. Teilnehmer des Wettbewerbs werden am finalen Event bei CAMLIS in Virginia in Teams aufgeteilt, um KI-Systeme zu testen und zu verteidigen. Humane Intelligence plant weitere Kooperationen mit verschiedenen Regierungsbehörden und Organisationen, um Transparenz und Verantwortlichkeit durch Assessments wie die „Bias-Bounty-Herausforderungen“ zu fördern.
Auf der Hacker-Konferenz 2023 in Las Vegas haben prominente KI-Technologieunternehmen mit Gruppen für algorithmische Integrität und Transparenz zusammengearbeitet, um Schwachstellen in diesen kritischen Systemen zu identifizieren. Diese „Red-Teaming“-Übung, unterstützt von der US-Regierung, markierte einen bedeutenden Schritt in Richtung der Offenlegung dieser zunehmend einflussreichen, aber undurchsichtigen Systeme. Nun geht die gemeinnützige Organisation Humane Intelligence, die sich mit ethischer KI und algorithmischer Bewertung beschäftigt, einen Schritt weiter.
Einladung zur Teilnahme am Qualifikationswettbewerb
Am Mittwoch, in Zusammenarbeit mit dem US National Institute of Standards and Technology (NIST), startete Humane Intelligence den landesweiten Red-Teaming-Wettbewerb, zu dem alle US-Bürger eingeladen sind. Der Qualifikationswettbewerb, online abgehalten, steht sowohl Entwicklern als auch Laien im Rahmen der NIST-KI-Herausforderungen offen, bekannt als Assessing Risks and Impacts of AI (ARIA). Teilnehmer, die die Qualifikationsrunde bestehen, werden Ende Oktober an einem persönlichen Red-Teaming-Event auf der Konferenz für angewandtes maschinelles Lernen in der Informationssicherheit (CAMLIS) in Virginia teilnehmen. Das Ziel ist es, die Fähigkeiten zur rigorosen Prüfung der Sicherheit, Belastbarkeit und Ethik generativer KI-Technologien zu erweitern.
Demokratisierung der KI-Bewertung
„Die durchschnittliche Person, die eines dieser Modelle nutzt, hat nicht wirklich die Möglichkeit zu bestimmen, ob das Modell zweckmäßig ist oder nicht“, sagt Theo Skeadas, Stabschef bei Humane Intelligence. „Wir möchten die Fähigkeit zur Durchführung von Bewertungen demokratisieren und sicherstellen, dass jeder, der diese Modelle verwendet, selbst prüfen kann, ob das Modell seinen Bedürfnissen entspricht.“ Beim finalen Event bei CAMLIS werden die Teilnehmer in ein rotes Team, das versucht, die KI-Systeme anzugreifen, und ein blaues Team, das die Verteidigung übernimmt, aufgeteilt. Teilnehmer werden dabei den , einen Teil von , als Bewertungsmaßstab nutzen, um zu messen, ob das rote Team Ergebnisse erzielt, die das erwartete Verhalten der Systeme verletzen.
Kooperationen und zukünftige Herausforderungen
„NIST’s ARIA zieht strukturierte Benutzerfeedbacks heran, um reale Anwendungen von KI-Modellen zu verstehen“, erklärt Rumman Chowdhury, Gründer von Humane Intelligence und auch Auftragnehmer im NIST Office of Emerging Technologies sowie Mitglied des AI-Sicherheits- und -Sicherheitsrats des US-Heimatschutzministeriums. „Das ARIA-Team besteht größtenteils aus Experten für soziotechnische Tests und Bewertungen und nutzt diesen Hintergrund, um das Feld in Richtung rigoroser wissenschaftlicher Evaluierung generativer KI weiterzuentwickeln.“ Chowdhury und Skeadas betonen, dass die NIST-Partnerschaft nur eine von mehreren bevorstehenden Red-Team-Kooperationen von Humane Intelligence mit US-Regierungsbehörden, internationalen Regierungen und Nichtregierungsorganisationen ist. Ziel dieses Bemühens ist es, Transparenz und Verantwortlichkeit durch Mechanismen wie „Bias-Bounty-Herausforderungen“ zu fördern, bei denen Einzelpersonen für das Finden von Problemen und Ungerechtigkeiten in KI-Modellen belohnt werden.
„Die Gemeinschaft sollte breiter gefächert sein als nur Programmierer“, sagt Skeadas. „Politiker, Journalisten, die Zivilgesellschaft und nichttechnische Personen sollten alle am Prozess des Testens und Bewertens dieser Systeme beteiligt sein. Und wir müssen sicherstellen, dass weniger vertretene Gruppen wie Personen, die Minderheitensprachen sprechen oder aus nichtmehrheitskulturellen Perspektiven stammen, an diesem Prozess teilnehmen können.“
