- Forschungspapiere aus dem Labor an der University of British Columbia, die schrittweise Verbesserungen von Algorithmen beschreiben, wurden von einem neuen „KI-Wissenschaftler“ erstellt. Der „KI-Wissenschaftler“ wurde in Zusammenarbeit mit Forschern der University of Oxford und einem Start-up entwickelt und könnte potenziell revolutionierende Ideen durch Experimente und Erkundungen generieren. Clunes Labor hat Programme entwickelt, die autonom interessante Ideen in virtuellen Umgebungen erkunden und bilden können, ohne handkodierte Anweisungen zu benötigen. Skeptiker betonen, dass es unklar bleibt, ob Systeme auf großer Sprachmodellbasis wirklich bahnbrechende Erkenntnisse erzielen können, obwohl ihre Automatisierungsbemühungen als sehr wertvoll anerkannt werden. Air Street Capital und andere große KI-Unternehmen sind an Clunes Arbeit interessiert, und ein neues Projekt seines Labors hat humane Lösungen in Mathematik und Leseverständnis bereits übertroffen, wobei Sicherheitsmaßnahmen jetzt priorisiert werden.
Auf den ersten Blick mag eine kürzlich veröffentlichte Reihe von Forschungspapieren aus einem renommierten Labor an der University of British Columbia in Vancouver nicht besonders bemerkenswert erscheinen. Die Arbeiten, die sich auf schrittweise Verbesserungen bestehender Algorithmen und Ideen konzentrieren, könnten leicht mit den Inhalten einer mittelmäßigen KI-Konferenz oder eines Journals verwechselt werden. Doch diese Forschung ist tatsächlich außergewöhnlich. Denn sie ist das Werk eines „KI-Wissenschaftlers“, der im UBC-Labor gemeinsam mit Forschern der University of Oxford und einem Start-up entwickelt wurde.
Ein kleiner Schritt, ein großer Sprung
Diese Anstrengungen markieren einen frühen Schritt in Richtung eines potenziell revolutionären Tricks: KI durch das Erfinden und Erforschen neuer Ideen lernen zu lassen. Momentan sind diese Ideen zwar noch nicht revolutionär. Einige Papiere beschreiben beispielsweise Anpassungen zur Verbesserung einer Bildgenerierungstechnik namens Diffusionsmodellierung; ein anderes skizziert einen Ansatz zur Beschleunigung des Lernens in tiefen neuronalen Netzwerken. „Diese Ideen sind keine Durchbrüche. Sie sind nicht extrem kreativ“, gibt der Professor des UBC-Labors zu. „Aber sie scheinen ziemlich interessante Ideen zu sein, die jemand ausprobieren könnte.“
Trotz der beeindruckenden Fähigkeiten heutiger KI-Programme sind sie durch ihre Abhängigkeit von menschlich erzeugten Trainingsdaten begrenzt. Wenn KI-Programme stattdessen auf offene Weise durch Experimentieren und Erkunden „interessanter“ Ideen lernen könnten, könnten sie Fähigkeiten freisetzen, die über menschliches Wissen hinausgehen.
Offenes Lernen als Schlüssel
Clunes Labor hatte bereits früher KI-Programme entwickelt, die auf diese Weise lernen sollten. Ein Programm beispielsweise versuchte, das Verhalten virtueller Charaktere in verschiedenen Videospiel-ähnlichen Umgebungen zu generieren und die interessanten Optionen zu speichern, um sie dann mit neuen Designs weiterzuentwickeln. Diese Programme hatten zuvor handkodierte Anweisungen benötigt, um Interessantheit zu definieren. Große Sprachmodelle bieten jedoch einen Weg, diese Programme selbst bestimmen zu lassen, was am faszinierendsten ist. Ein weiteres Projekt aus Clunes Labor nutzte diesen Ansatz, um KI-Programme zu entwickeln, die den Code entwerfen, mit dem virtuelle Charaktere in einer Roblox-ähnlichen Welt vielfältige Aktionen ausführen können.
Der KI-Wissenschaftler ist ein Beispiel für Clunes Ansätze. Das Programm erarbeitet maschinelle Lernexperimente, bewertet vielversprechende Projekte mithilfe eines LLM, schreibt und führt den benötigten Code aus – ein ständiger Zyklus. Trotz anfänglicher mäßiger Ergebnisse ist Clune überzeugt, dass offene Lernprogramme, ebenso wie Sprachmodelle, mit zunehmender Rechenleistung erheblich leistungsfähiger werden könnten. „Es fühlt sich an, als ob wir einen neuen Kontinent oder Planeten erkunden“, sagt Clune über die Möglichkeiten, die durch LLMs eröffnet werden. „Wir wissen nicht, was wir entdecken werden, aber überall gibt es etwas Neues.“
Dekadenlange Bemühungen
, Assistenzprofessor an der Hebräischen Universität Jerusalem und wissenschaftlicher Mitarbeiter am Allen Institute for AI (AI2), sagt, dass der KI-Wissenschaftler wie LLMs stark abgeleitet sei und nicht als zuverlässig gelten könne. „Keine der Komponenten ist derzeit vertrauenswürdig,“ bemerkt er. Er betont, dass Bemühungen zur Automatisierung von wissenschaftlichen Entdeckungen bereits seit Jahrzehnten zurückreichen, von den Arbeiten der KI-Pioniere in den 1970ern bis hin zu den Forschungsergebnissen aus dem Institute for the Study of Learning and Expertise. Außerdem haben mehrere Forschungsteams, darunter eine Gruppe bei AI2, kürzlich LLMs genutzt, um bei der Generierung von Hypothesen, dem Verfassen von Forschungsarbeiten und der Überprüfung von Forschung zu helfen. „Sie haben den Zeitgeist erfasst,“ sagt er über das UBC-Team. „Die Richtung ist zweifellos potenziell extrem wertvoll.“
Ob Systeme auf LLM-Basis jemals wirklich neuartige oder bahnbrechende Ideen entwickeln können, bleibt jedoch unklar. „Das ist die Billionen-Dollar-Frage,“ sagt Clune. Auch ohne wissenschaftliche Durchbrüche könnte offenes Lernen entscheidend sein, um leistungsfähigere und nützlichere KI-Systeme zu entwickeln.
In diesem Monat hat Air Street Capital, eine Investmentfirma, auf das Potenzial von Clunes Arbeit hingewiesen, leistungsfähigere und zuverlässigere KI-Agenten zu entwickeln, die autonom nützliche Aufgaben auf Computern ausführen. Die großen KI-Unternehmen scheinen ebenfalls daran interessiert zu sein.
Diese Woche enthüllte Clunes Labor sein neuestes Projekt zum offenen Lernen: ein KI-gestaltetes System, das in einigen Tests menschlich gestaltete Lösungen übertrifft, etwa im Bereich Mathematik und Leseverständnis. Der nächste Schritt wird sein, Wege zu finden, um zu verhindern, dass ein solches System Agenten erzeugt, die sich dann falsch verhalten. „Das ist potenziell gefährlich“, sagt Clune über diese Arbeit. „Wir müssen es richtig machen, aber ich glaube, es ist möglich.“
