- Moderne Sprachmodelle können nicht aus Erfahrung lernen, aber MIT-Forscher haben eine Methode entwickelt, um diese Modelle zu verbessern. SEAL, eine Entwicklung des MIT, ermöglicht es Sprachmodellen, durch ihre eigenen synthetischen Trainingsdaten zu lernen. SEAL generiert neue Einsichten und integriert sie in die Modelle, um deren Fähigkeiten zu verbessern. Der SEAL-Ansatz, getestet an LLMs von Meta und Alibaba, soll auch mit größeren Modellen funktionieren. SEAL hat Potenzial, aber es besteht das Problem des “katastrophalen Vergessens”, bei dem beim Erlernen neuer Informationen altes Wissen verloren geht.
Die modernen großen Sprachmodelle (LLMs) mögen in der Lage sein, wunderschöne Sonette und eleganten Code zu verfassen, doch es mangelt ihnen an der fundamentalen Fähigkeit, aus Erfahrung zu lernen. Forscher am Massachusetts Institute of Technology (MIT) haben nun eine Methode entwickelt, um diese Modelle kontinuierlich zu verbessern, indem sie ihre eigenen Parameter anpassen, wenn sie auf nützliche neue Informationen stoßen.
Diese Entwicklung stellt einen wichtigen Schritt dar, um Modelle zu schaffen, die beständig lernen – ein lang gehegtes Ziel der KI-Forschung. Dies ist entscheidend, wenn Maschinen menschliche Intelligenz immer treuer nachahmen sollen. Unterdessen könnten wir dadurch Chatbots und andere KI-Werkzeuge erhalten, die besser in der Lage sind, neue Informationen, einschließlich der Interessen und Vorlieben der Benutzer, zu integrieren.
Selbstadaptierende Sprachmodelle
Das Konzept von MIT, genannt Self Adapting Language Models (SEAL), zielt darauf ab, dass ein LLM auf Basis der erhaltenen Eingaben eigene synthetische Trainingsdaten generiert. „Die Anfangsidee war zu untersuchen, ob Tokens [Texteinheiten, die LLMs zugeführt werden und von ihnen generiert werden] ein mächtiges Update für ein Modell bewirken können”, erklärt Jyothish Pari, ein Doktorand am MIT, der an der Entwicklung von SEAL beteiligt ist. Die Idee dahinter war, herauszufinden, ob man das Modell mit seinem eigenen Output trainieren könnte.
Adam Zweiger, ein MIT-Student, der an der Entwicklung von SEAL mitarbeitet, fügt hinzu, dass neuere Modelle ihre Lösungsfindung durch komplexere Inferenztechniken verbessern können, diese Methoden jedoch keinen langfristigen Vorteil für das Modell selbst darstellen. SEAL hingegen generiert neue Einsichten und integriert diese in seine eigenen Gewichte oder Parameter.
Die Praxis von SEAL
Wenn ein Statement über die Herausforderungen des Apollo-Raumfahrtprogramms gegeben wird, generiert das Modell beispielsweise neue Passagen, die die Implikationen des Statements beschreiben sollen. Die Forscher vergleichen dies mit der Art und Weise, wie ein Schüler Notizen schreibt und überprüft, um das Lernen zu unterstützen. Anschließend aktualisiert das System das Modell mit diesen Daten und testet, wie gut das neue Modell eine Reihe von Fragen beantworten kann. Dies liefert letztlich ein Signal, das das Modell zu aktualisierenden Verbesserungen führt, die seine Gesamtfähigkeiten stärken und es beim Lernen unterstützen.
Die Forscher überprüften ihren Ansatz an kleinen und mittelgroßen Versionen von zwei Open-Source-Modellen von Meta und Alibaba. Sie sind überzeugt, dass der Ansatz auch mit deutlich größeren Modellen funktionieren sollte.
Kritische Einschätzungen und Ausblicke
Professor Pulkit Agrawal von MIT, der das Projekt beaufsichtigte, erwähnt, dass SEAL zentrale Themen der KI anspricht, wie man KI dazu bringen kann, selbst zu entscheiden, was sie lernen sollte. Er fügt hinzu, dass dies helfen könnte, KI-Modelle stärker zu personalisieren. Die SEAL-Technologie ist jedoch noch kein Mittel, um künstliche Intelligenz endlos zu verbessern. Agrawal weist darauf hin, dass die getesteten LLMs unter dem sogenannten “katastrophalen Vergessen” leiden, einem Problem, bei dem beim Aufnehmen neuer Informationen altes Wissen einfach verschwindet.
Trotz seiner Grenzen stellt SEAL einen faszinierenden neuen Weg in der KI-Forschung dar – und es könnte gut möglich sein, dass sich diese Technologie in Zukunft in fortschrittlichen KI-Modellen wiederfindet.
