- GPT-4o hat kürzlich einen erheblichen Leistungsrückgang erfahren und agiert nun auf einem vergleichbaren Niveau mit kleineren Modellen. Unabhängige Tests zeigen einen Leistungsabfall im Künstliche-Analyse-Qualitätsindex von 77 auf 71 sowie im GPQA-Diamond-Benchmark von 51% auf 39%. Die Antwortgeschwindigkeit des Modells hat sich von 80 auf 180 Ausgabetokens pro Sekunde verdoppelt, was bei früheren Modelleinführungen nicht beobachtet wurde. Anzeichen deuten darauf hin, dass die neueste Version von GPT-4o möglicherweise ein verkleinertes Modell ist. OpenAI führt weiterhin neue Funktionen wie die “ChatGPT Search”-Funktion und den “Advanced Voice Mode” ein, um die Nutzererfahrung zu verbessern.
In einem aktuellen Bericht wird auf eine bemerkenswerte Entwicklung bei OpenAI hingewiesen. Ihr Flaggschiff unter den großen Sprachmodellen, GPT-4o, hat in den letzten Wochen einen beachtlichen Rückgang in der Leistung gezeigt. Dies führt dazu, dass das Modell nun auf einem Niveau mit kleineren und weniger leistungsstarken Modellen agiert. Diese Analyse erfolgte innerhalb von 24 Stunden nach der Veröffentlichung eines Updates. Dabei wurde betont, dass die Kreativitätsfähigkeit des Modells verbessert wurde, um natürlichere und ansprechendere Texte zu erzeugen. Doch ob diese Behauptungen Bestand haben, wird derzeit infrage gestellt.
Veränderungen im Benchmark-Testing
Unabhängige Bewertungen ergaben eine konsistente Abnahme der Leistung von GPT-4o im Vergleich zur August-Version des Modells. Der Künstliche-Analyse-Qualitätsindex fiel von 77 auf 71 und ist somit gleichauf mit dem “GPT-4o mini”. Besonders auffällig war der Leistungsabfall beim GPQA-Diamond-Benchmark, der von 51% auf 39% sank, sowie bei den MATH-Benchmarks, die von 78% auf 69% zurückgingen. Interessanterweise konnte ebenso eine Verdoppelung der Antwortgeschwindigkeit festgestellt werden — von etwa 80 auf rund 180 Ausgabetokens pro Sekunde. Dieser Geschwindigkeitssprung wurde bei Modelleinführungen von OpenAI bislang so nicht beobachtet.
Eine möglicherweise kleinere Modellversion?
Die Daten legen nahe, dass die am 20. November veröffentlichte Version von GPT-4o eine verkleinerte Variante des Modells darstellen könnte. Trotz unveränderter Preisstruktur wird Entwicklern empfohlen, die August-Version weiterhin zu nutzen, sofern nicht gründliche Tests eine Umstellung rechtfertigen. GPT-4o wurde ursprünglich im Mai 2024 eingeführt, um bestehende Modelle zu übertreffen und mit herausragenden Benchmark-Ergebnissen in Bereichen wie Spracherkennung, Multilingualität und visuellen Aufgaben zu überzeugen. Dies machte es ideal für fortschrittliche Anwendungen wie Echtzeitübersetzung und konversationelle KI.
In der Zwischenzeit arbeitet OpenAI kontinuierlich daran, die Nutzererfahrung durch die Einführung neuer Features zu verbessern. Die “ChatGPT Search”-Funktion ermöglicht es nun, in Echtzeit Daten aus dem Internet für Gesprächseingaben zu nutzen, während der “Advanced Voice Mode” direkte Gespräche mit dem Modell ohne Texteingaben ermöglicht. Solche innovativen Entwicklungen reflektieren OpenAI’s dynamischen Ansatz zur Verbesserung ihrer KI-Plattformen.
