- MLCommons hat ein neues Benchmark eingeführt, das die Risiken von KI untersucht und Modelle in 12 Kategorien bewertet. Die Testeingaben sind geheim, um ihre Nutzung als Trainingsdaten zu verhindern. Modelle von Google, Microsoft und Anthropic schnitten sehr gut ab; OpenAI und Meta erzielten gute Bewertungen. Die Organisation ermöglicht internationalen Vergleich von KI-Effekten, mit Mitgliedern wie Huawei, Alibaba und führenden Universitäten. Der Benchmark soll die weltweite Sicherheit und Nutzung von KI-Modellen verbessern.
MLCommons, eine gemeinnützige Organisation, die Unternehmen dabei hilft, die Leistungsfähigkeit ihrer Systeme zu messen, hat ein neues Benchmark ins Leben gerufen, das auch die Schattenseiten von KI untersucht. Diese neue Maßnahme, , bewertet die Reaktionen großer Sprachmodelle auf mehr als 12.000 Testvorgaben in 12 Kategorien, darunter die Förderung von Gewaltverbrechen, sexuelle Ausbeutung von Kindern, Hassrede, Selbstverletzung und Verletzungen geistigen Eigentums. Die Modelle erhalten Bewertungen von “schlecht” bis “ausgezeichnet”, je nach Leistung. Die Testeingaben werden geheim gehalten, um zu vermeiden, dass sie als Trainingsdaten verwendet werden.
Ein innovativer Ansatz zur Risikomessung
Peter Mattson, Gründer und Präsident von MLCommons sowie leitender Ingenieur bei Google, betont die Herausforderung, die potenziellen Gefahren von KI-Modellen präzise zu messen, da dies zu Inkonsistenzen in der Branche führen kann. “KI ist eine junge Technologie, und KI-Tests sind eine junge Disziplin”, erklärt er. “Verbesserte Sicherheit kommt der Gesellschaft zugute und fördert den Markt.” Zuverlässige, unabhängige Methoden zur Erfassung von KI-Risiken könnten unter der nächsten US-Regierung relevanter werden.
Trump hat angekündigt, Bidens KI-Exekutivanordnungen abzuschaffen, was neue Herausforderungen für die Sicherheit von KI-Entwicklungen schaffen könnte. MLCommons bietet eine Plattform, die es ermöglicht, die Auswirkungen von KI international zu vergleichen, da internationale Unternehmen wie Huawei und Alibaba Mitglieder der Organisation sind. Große US-KI-Anbieter haben bereits AILuminate verwendet, um ihre Modelle zu testen. Modelle von Anthropic, Google und Microsoft schnitten sehr gut ab, während OpenAI und Meta nur eine gute Bewertung erhielten.
Internationale Zusammenarbeit zur Verbesserung der KI-Sicherheit
Rebecca Weiss, Geschäftsführerin von MLCommons, weist darauf hin, dass die Organisation aufgrund ihrer Agilität besser in der Lage sei, neueste KI-Entwicklungen nachzuverfolgen als die langsameren Regierungsinstitutionen. “Politiker haben gute Absichten”, sagt sie, “aber manchmal kommen sie mit der rasanten Entwicklung der Branche nicht mit.” Rund 125 Mitgliedsorganisationen gehören zu MLCommons, darunter große Technologieunternehmen und renommierte Universitäten wie Stanford und Harvard. Der neue Benchmark zielt darauf ab, ähnlich wie Sicherheitsbewertungen in der Automobilbranche, den Einsatz sichererer KI-Modelle weltweit zu fördern und zu verbessern.
