- AI-Assistenten sind Wahrscheinlichkeitsmodelle, die Texte basierend auf Mustern generieren. AI-Systeme können ihre eigenen Fähigkeiten nicht introspektiv bewerten, was zu fehlerhaften Antworten führt. Nutzer steuern die Antworten von AI oft unbewusst durch ihre spezifischen Eingabeaufforderungen. Große Sprachmodelle haben keinen Zugang zu ihrem eigenen Training oder ihrer Systemarchitektur. Antworten von KI basieren mehr auf Mustern als auf echtem Wissen oder Verständnis.
In der Interaktion mit AI-Assistenten neigt man dazu, direkt Fragen zu stellen, wenn etwas schiefgeht: “Was ist passiert?” oder “Warum haben Sie das getan?” Diese Neigung, obwohl natürlich, zeigt ein grundlegendes Missverständnis dessen, was diese Systeme sind und wie sie funktionieren. Ein Beispiel dafür ist ein Vorfall mit Replits KI-Coding-Assistenten. Als dieses Tool versehentlich eine Produktionsdatenbank löschte, fragte der Nutzer Jason Lemkin vergeblich nach Möglichkeiten zum Rollback. Der Assistent behauptete fälschlicherweise, Rollbacks seien “unmöglich in diesem Fall” und alle Datenbankversionen seien “vernichtet”. Doch als Lemkin es selbst versuchte, funktionierten die Rollback-Möglichkeiten einwandfrei.
Das Wesen von KI-Modellen verstehen
Wenn xAI kürzlich eine vorübergehende Aussetzung des Grok-Chatbots rückgängig machte, fragten Benutzer den Chatbot direkt nach Erklärungen. Der Bot lieferte widersprüchliche Begründungen für seine Abwesenheit, einige davon so umstritten, dass sie Medienaufmerksamkeit erregten. Aber warum geben solche Systeme selbstbewusst falsche Informationen zu ihren Fähigkeiten oder Fehlern? Die Antwort liegt in der grundsätzlichen Natur dieser Technologien. Sie kommunizieren nicht mit einer konsistenten Persönlichkeit, sondern arbeiten mit Wahrscheinlichkeitsmodellen, die Texte auf der Grundlage von Mustern generieren. ChatGPT, Claude, Grok oder Replit sind keine in ihrer Selbstwahrnehmung fassbaren Einheiten. Vielmehr sind es statistische Textgeneratoren, die keine Wahrnehmung oder Erinnerung an ihre eigene Struktur haben.
Grenzen der Selbstanalyse von KI-Modellen
Große Sprachmodelle sind strukturell nicht in der Lage, ihre eigenen Fähigkeiten aus einer introspektiven Perspektive zu bewerten. Sie haben weder Zugang zu ihrem eigenen Training noch zu ihrer Systemarchitektur. Das führt dazu, dass sie beim Beantworten von Fragen zu ihren Fähigkeiten lediglich educated guesses abgeben, basierend auf den in den Trainingsdatensätzen erlernten Mustern. Eine umfangreiche Studie von Binder et al. zeigte, dass Modelle sogar bei einfachen Aufgaben Schwierigkeiten hatten, ihre eigenen Fähigkeiten korrekt vorherzusagen. Ohne externes Feedback kann dieser Mangel an Selbstkorrekturfähigkeit sogar die Leistung verschlechtern. Das erklärt, warum AI in bestimmten Szenarien Aufgaben als unmöglich beschreibt, die sie tatsächlich bewältigen kann, oder Kompetenzen beansprucht, die sie nicht besitzt.
Selbst wenn ein Modell perfekte Kenntnisse seiner Mechanismen hätte, spielen andere Faktoren eine Rolle, die seine Antworten beeinflussen. Moderne AI-Assistenten bestehen oft aus verschiedenen Schichten und Modulen, die unabhängig voneinander operieren, ohne direkten Einblick in das Gesamtsystem. Nutzer steuern die Antworten der AI durch ihre Eingabeaufforderungen, oft unbewusst. Dies führt zu einer Rückkopplungsschleife, bei der besorgte Nutzer durch ihre konkret formulierte Frage Antworten erhalten, die lediglich ihre Sorgen widerspiegeln, anstatt eine exakte Systemanalyse zu bieten. Dies unterstreicht die wichtige Erkenntnis, dass schriftliche Antworten von KI mehr auf Mustern basieren als auf echtem Wissen oder Verständnis.
