- Mark Zuckerberg hat ein bedeutendes Update in der Entwicklung generativer KI vorgestellt, wobei Meta seine neuesten KI-Modelle auf einem außergewöhnlich großen GPU-Cluster trainiert. Llama 4 soll Anfang nächsten Jahres veröffentlicht werden, wobei die kleineren Modelle zuerst verfügbar sein werden. Meta bietet seine Llama-Modelle im Gegensatz zu anderen Unternehmen frei zum Herunterladen an, obwohl es kommerzielle Einschränkungen gibt. Der Betrieb eines großen Clusters mit 100.000 H100-Chips stellt erhebliche technische und energetische Herausforderungen dar. Metas offene Herangehensweise an KI fördert Innovationen und wird für ihre Kosteneffizienz und Anpassungsfähigkeit gelobt.
Am Mittwoch präsentierte Mark Zuckerberg, CEO von Meta, ein bedeutendes Update in der Entwicklung generativer KI. Er erläuterte, dass das Unternehmen seine neuesten KI-Modelle auf einem GPU-Cluster trainiert, welches größer ist als alles bisher Dagewesene. Die Arbeiten an Llama 4 sind bereits in vollem Gange, und die erste Version wird Anfang nächsten Jahres erwartet. Laut Zuckerberg werden die kleineren Llama 4 Modelle zuerst fertiggestellt sein. Die Zunahme der Rechenleistung und der Datenmenge spielt eine Schlüsselrolle bei der Schaffung leistungsfähigerer KI-Modelle. Während Meta derzeit die Nase vorn zu haben scheint, dürften andere große Akteure ebenfalls daran arbeiten, Cluster mit über 100.000 fortschrittlichen Chips zu nutzen.
Meta’s Vorstoß in KI-Training
Im März nutzten Meta und Nvidia rund 25.000 H100s zur Entwicklung ihrer Modelle. Im Juli kündigte Elon Musk an, dass sein Unternehmen xAI in Zusammenarbeit mit X und Nvidia 100.000 H100s aufgestellt hat. Trotz des Enthusiasmus wollte Zuckerberg am Mittwoch keine genauen Details zu den künftigen Fähigkeiten von Llama 4 preisgeben. Man weiß jedoch, dass es neue Möglichkeiten und schnellere Leistungsmerkmale geben wird. Metas freie Verfügbarkeit von Llama hat erhebliche Beliebtheit erlangt, besonders bei Startups und Forschern. Im Gegensatz zu anderen großen Unternehmen, die ihre Modelle nur über APIs zugänglich machen, bietet Meta die komplette Herunterladung der Llama-Modelle an. Dabei ist zu beachten, dass die Verwendung von Llama-Modellen unter bestimmten kommerziellen Einschränkungen steht.
Energieverbrauch und wirtschaftliche Aspekte
Der Betrieb eines Clusters mit 100.000 H100-Chips stellt jedoch beträchtliche technische und energetische Herausforderungen dar. Während Meta für dieses Jahr Kapitalinvestitionen von bis zu 40 Milliarden Dollar erwartet, steigen auch die Gesamtausgaben des Unternehmens. Dennoch verzeichnet Meta trotz dieser Ausgabensteigerungen beeindruckende Umsatzgewinne, hauptsächlich dank der Werbeeinnahmen. Gleichzeitig versucht OpenAI, derzeitig als führend in der KI-Forschung angesehen, den Anschluss zu halten. Die Entwicklung von GPT-5, einem Nachfolgemodell für ChatGPT, geht weiter, auch wenn genaue Einzelheiten zu dessen Trainingscluster noch unklar sind. OpenAI betont jedoch, dass GPT-5 in puncto Innovationskraft und Größe einen erheblichen Fortschritt darstellen wird.
Offene versus proprietäre Systeme
Zwar wird Metas offene Herangehensweise an KI manchmal kontrovers diskutiert, doch betont Zuckerberg immer wieder die Vorteile des Open-Source-Ansatzes. So sieht er diesen Ansatz als kosteneffizient, anpassbar und performant. Die neue Version Llama 4 verspricht zahlreiche innovative Fähigkeiten, die das Potenzial haben, verschiedene Anwendungen anzutreiben. Breiten Anklang findet dabei Metas KI-Chatbot, der in Apps wie Facebook, Instagram und WhatsApp integriert ist und monatlich von über 500 Millionen Menschen genutzt wird. Langfristig könnte dies Meta zusätzliche Einnahmequellen durch Werbung eröffnen und die Weiterentwicklung der Llama-Modelle unterstützen.
