- Meta hat “3D Gen” entwickelt, eine schnelle Pipeline, die Text in hochauflösende 3D-Bilder in unter einer Minute transformiert. Das System unterstützt physikalisch basiertes Rendering, generative Re-Texturierung und verwandelt 3D-Objekte in Ansichts-, volumetrischen und UV-Raum. Das 3D Gen Modell erzielte in 68% der Fälle bessere Ergebnisse als einphasige Modelle. Obwohl das System noch in der Entwicklung ist, könnte es kreative Disziplinen wie Spiele- und Filmeffekte revolutionieren. Die einfache Bearbeitung von 3D-Inhalten durch Texteingabe könnte Produktionszyklen verkürzen und kreative Prozesse verändern.
Meta hat einen weiteren bedeutenden Schritt in der technologischen Entwicklung gemacht. Das Unternehmen hat ein neues System entwickelt: “3D Gen”. Diese “state-of-the-art, schnelle Pipeline” ermöglicht es, eingegebenen Text in hochauflösende 3D-Bilder zu transformieren und das in unter einer Minute. Ebenso bemerkenswert ist die Fähigkeit des Systems, neue Texturen und Oberflächen sowohl auf generierte als auch vom Künstler produzierte Bilder mittels Textaufforderungen anzuwenden.
Innovative Forschungsmethoden
Das Meta Gen AI Forschungsteam hat es sich zur Aufgabe gemacht, nicht nur hochauflösende Texturen und Materialkarten zu liefern, sondern auch physikalisch basiertes Rendering (PBR) und generative Re-Texturierung zu unterstützen. Laut eigenen Angaben benötigt das System durchschnittlich nur etwa 30 Sekunden, um ein initiales 3D-Modell durch das Meta 3D AssetGen Modell zu erstellen. Danach haben Nutzer die Möglichkeit, entweder die vorhandene Modelltextur zu verfeinern oder sie mit neuen Texturen zu ersetzen. Dieser zusätzliche Schritt, durchgeführt durch Meta 3D TextureGen, sollte nicht mehr als zusätzliche 20 Sekunden Inferenzzeit in Anspruch nehmen.
Durch die Kombination ihrer Stärken repräsentiert „3DGen“ 3D-Objekte gleichzeitig in drei Räumen: Im Raum der Ansichten, im volumetrischen Raum und im UV- oder Textur-Raum.
Technologische Fortschritte und Vergleich
Das Meta-Team hat das 3D Gen Modell gegen eine Reihe von Branchenstandards gesetzt und in verschiedenen Faktoren verglichen, darunter die Genauigkeit der Textaufforderungen, die visuelle Qualität, die Texturdetails und Artefakte. Die Bilder, die durch den integrierten zweistufigen Prozess erzeugt wurden, wurden in 68% der Fälle von Anmerkern gegenüber den einphasigen Ergebnissen bevorzugt.
Obwohl das System, wie in dem veröffentlichten Dokument beschrieben, noch in der Entwicklung ist und noch nicht für den öffentlichen Gebrauch bereitsteht, könnten die technischen Fortschritte, die diese Studie illustriert, bahnbrechend für eine Vielzahl von kreativen Disziplinen sein – von Spiele- und Filmeffekten bis hin zu VR-Anwendungen.
Transformation der kreativen Prozesse
Das Potenzial, 3D-generierte Inhalte nicht nur schnell, sondern auch intuitiv zu erstellen und zu bearbeiten, könnte enorme Vorteile für solche Unternehmungen mit sich bringen. Man muss nicht weit überlegen, um die Auswirkungen auf die Spieleentwicklung zu erkennen.
Die Möglichkeit, 3D-Inhalte durch simple Texteingabe zu verfeinern und zu ändern, kann die Produktionszyklen erheblich verkürzen und kreative Prozesse revolutionieren.
