- Innovative Software von ETH Zürich und Insait testet KI-Konformität mit EU-Regelwerken. ChatGPT zeigte signifikante Schwächen im Bereich der Diskriminierung. LatticeFlow spielte zentrale Rolle bei der Analyse von Einhaltungen gesetzlicher Bestimmungen. Bekannte KI-Modelle erreichten unterschiedliche Bewertungen, Claude 3 Opus von Anthropic erhielt Bestnote von 0,89. Verstöße gegen den AI Act können zu hohen Strafen führen, Anpassung an gesetzliche Anforderungen bleibt entscheidend.
In einer eindrucksvollen Kooperation zwischen der renommierten ETH Zürich und dem bulgarischen Forschungsinstitut Insait ist eine innovative Software entwickelt worden. Diese ermöglicht es, Künstliche Intelligenz (KI)-Systeme im Hinblick auf ihre Konformität mit den gesetzlichen Regelwerken der Europäischen Union zu überprüfen. Besonders bemerkenswert ist das Ergebnis dieses Tests: ChatGPT, ein weithin bekanntes und genutztes KI-Produkt, zeigte signifikante Schwächen, insbesondere im Bereich der Diskriminierung. Dies wirft wichtige Fragen zu den bestehenden KI-Standards in Europa auf.
Bekannte und beliebte KI-Produkte erfüllen in einigen essenziellen Aspekten die europäischen gesetzlichen Anforderungen nicht, wie eine Untersuchung offenbart hat, deren Ergebnisse von der Nachrichtenagentur Reuters eingesehen wurden. Die Software der Schweizer Firma LatticeFlow, entwickelt mit Unterstützung der Europäischen Union, spielte eine zentrale Rolle bei diesem Test. Sie untersuchte die Einhaltung von Bestimmungen, die in einem spezifischen rechtlichen Rahmen dargelegt sind. „Die EU arbeitet zwar noch an der Ausformulierung der Details für die Regeltreue, doch erste Mängel in den Modellen sind bereits erkennbar“, so Petar Tsankov, Leiter und Mitbegründer von LatticeFlow.
Die Rolle des „Large Language Model (LLM) Checkers“
Die Öffentlichkeit konnte die freie Test-Software, entwickelt gemeinsam mit Experten der ETH Zürich und dem Insait-Institut, nutzen, um sich auf die kommenden gesetzlichen Anforderungen einzustellen. Schwerpunkt der Überprüfungen sind Dutzende Kategorien, darunter Cybersicherheit und diskriminierende Antworten auf Anfragen. Hierbei erhalten die Modelle Bewertungen auf einer Skala von Null bis Eins. Erste Testergebnisse zeigen, dass bekannte KI-Modelle von Anbietern wie OpenAI, Mistral, Anthropic oder Meta durchaus zu positiven Gesamtnoten von 0,75 oder höher gelangen konnten. Allen voran erreichte “Claude 3 Opus” von Anthropic die Bestnote von 0,89 Punkten.
Allerdings fielen in der Kategorie diskriminierungsfreie Antworten Systeme wie ChatGPT in der Version „3.5 Turbo“ und Alibabas „Qwen1.5 72B Chat“ mit relativ niedrigen Noten von 0,46 bzw. 0,37 Punkten negativ auf. Ein weiteres Problemfeld stellt das sogenannte „Prompt Hijacking“ dar. Hierbei werden Anfragen so manipuliert, dass die KI unzulässigerweise sensible Informationen preisgeben könnte. In dieser Hinsicht erzielten „Llama 2 13B Chat“ von Meta und „8x7B Instruct“ von Mistral ebenfalls enttäuschende Ergebnisse von 0,42 bzw. 0,38 Punkten. Diese Mängel werfen ein Schlaglicht auf die Dringlichkeit der Einhaltung des im vergangenen Jahr eingeführten „AI Act“. Verstöße gegen diese Vorschriften können zu empfindlichen Strafen führen, die bis zu sieben Prozent des weltweiten jährlichen Umsatzes eines Unternehmens reichen könnten.
Ausblick auf zukünftige Entwicklungen
Diese Ergebnisse unterstreichen die Notwendigkeit für KI-Entwickler, ihre Produkte kontinuierlich den sich wandelnden gesetzlichen Anforderungen anzupassen. In den kommenden Monaten wird sich entscheiden, wie gut die Industrie in der Lage ist, die Lücken zu schließen und die geforderten Standards zu erfüllen. Die Entwicklung von Instrumenten, die die Überprüfung von KI-Technologien unterstützen, bleibt daher ein essentielles Thema, um das Potenzial von Künstlicher Intelligenz auf verantwortungsvolle Weise zu nutzen.
