- FlexOlmo ermöglicht die Kontrolle über die Nutzung von Trainingsdaten selbst nach der Erstellung eines Modells, was das herkömmliche Paradigma infrage stellt. Das Modell verwendet eine „Mixture of Experts“-Architektur, um Teilmodelle zu verschmelzen, ohne die zugrunde liegenden Daten preiszugeben. Ein Testmodell mit 37 Milliarden Parametern übertraf andere Ansätze zur Modellverschmelzung und erzielte bei Benchmarks 10 Prozent bessere Ergebnisse. FlexOlmo könnte den Zugang zu sensiblen Daten kontrollierter machen, ohne dass diese offengelegt werden müssen. Experten warnen, dass Techniken benötigt werden könnten, um mathematisch garantierte Privatsphäre sicherzustellen.
Ein neuartiges Modell namens FlexOlmo, entwickelt von den Forschern des Allen Institute for AI (Ai2), ermöglicht es, die Nutzung von Trainingsdaten noch nach der Erstellung eines Modells zu kontrollieren. Diese Innovation stellt das derzeit vorherrschende Paradigma infrage, bei dem große Unternehmen Daten aus dem Web, Büchern und anderen Quellen sammeln und die daraus resultierenden Modelle vollständig besitzen. Heutzutage ist das Extrahieren von Daten aus einem bereits trainierten KI-Modell so schwierig, als würde man versuchen, Eier aus einem fertig gebackenen Kuchen zurückzubekommen. Laut Ali Farhadi, CEO von Ai2, liegt das Problem darin, dass Daten konventionell entweder integriert oder ausgeschlossen sind. Sobald mit diesen Daten trainiert wurde, verliert man die Kontrolle, es sei denn, man durchläuft einen weiteren kostspieligen Trainingszyklus.
Das revolutionäre Modell FlexOlmo
Ai2s avantgardistische Herangehensweise teilt das Training so auf, dass die Dateninhaber Kontrolle ausüben können. Individuen, die Daten zu einem FlexOlmo-Modell beitragen möchten, beginnen damit, ein öffentlich geteiltes, als „Anker“ bekanntes Modell zu kopieren. Anschließend trainieren sie ein zweites Modell mit ihren eigenen Daten, kombinieren das Ergebnis mit dem Anker-Modell und geben das Ergebnis an denjenigen zurück, der das dritte und endgültige Modell erstellt. Durch diese Art des Beitrags müssen die Daten selbst nicht übergeben werden. Dank der Art und Weise, wie das Dateninhabermodell mit dem endgültigen Modell verschmolzen wird, können die Daten später extrahiert werden. Beispielsweise könnte ein Zeitschriftenverlag Text aus seinem Archiv zu einem Modell beisteuern, es jedoch später entfernen, wenn das Unternehmen der Nutzung des Modells widerspricht.
Das Potenzial der modularen Kontrolle
FlexOlmo nutzt eine Architektur, die als „Mixture of Experts“ bekannt ist. Diese ist normalerweise darauf ausgelegt, mehrere Teilmodelle gleichzeitig zu einem größeren, fähigeren Modell zu kombinieren. Die Neuheit von Ai2 besteht darin, unabhängig trainierte Teilmodelle effektiv zu verschmelzen. Dabei wird ein neues Schema zur Darstellung der Werte in einem Modell verwendet, um dessen Fähigkeiten mit anderen zu kombinieren, wenn das endgültige kombinierte Modell ausgeführt wird. Um den Ansatz zu testen, kreierten die Forscher von FlexOlmo einen Datensatz namens Flexmix aus proprietären Quellen wie Büchern und Websites. Sie bauten ein Modell mit 37 Milliarden Parametern, das etwa ein Zehntel der Größe des größten Open-Source-Modells von Meta ausmacht. Bei Vergleichen stellten sie fest, dass ihr Modell in allen Aufgaben besser abschnitt als jedes einzelne Modell und auch bei allgemeinen Benchmarks 10 Prozent bessere Ergebnisse erzielte als zwei andere Ansätze zum Verschmelzen unabhängig trainierter Modelle.
Diese Entwicklung könnte möglicherweise den Zugang zu sensiblen privaten Daten in einer kontrollierteren Weise ermöglichen, da diese Daten nicht offengelegt werden müssen, um das endgültige Modell zu erstellen. Percy Liang, ein KI-Forscher an der Stanford University, sieht in dem Ansatz von Ai2 ein vielversprechendes Konzept. Diese modulare Kontrolle über Daten stellt eine erfrischende Abweichung vom Status quo dar, bei dem Sprachmodelle als monolithische Blackboxes betrachtet werden. Doch die Entwickler warnen, dass es möglich sein könnte, Daten aus dem endgültigen Modell zu rekonstruieren. Daher könnte eine Technik erforderlich sein, die mathematisch garantierte Privatsphäre bietet, um die Sicherheit der Daten zu gewährleisten.
