Britische Forscher entwickeln neuen Algorithmus zur Umwandlung von 2D-Bildern in 3D-Modelle

Forscher der Britischen University of Nottingham sowie der Kingston University entwickelten einen neuen Algorithmus basierend auf einer künstlichen Intelligenz, welcher 2D-Fotos durch die Verwendung eines Faltungs-Neuralen Netzwerks in relativ detaillierte 3D-Modelle umwandeln kann.

Um zweidimensionale Bilder in 3D-Modelle verwandeln zu können, kamen bisher 3D-Scanning- oder Photogrammetrie-Technologien zum Einsatz. Diese sind in der Lage Fotos des gewünschten Objekts/der gewünschten Person aus diversen Blickwinkeln zu erfassen und in weiterer Folge ein 3D-Bild aus den gewonnen Daten zu erstellen. Technologien wie diese sind leicht zugänglich können teilweise sogar über Smartphone-Applikationen gesteuert werden.

Zwar erfordern die bereits vorhandenen Technologien mehrere Bilder, um ein 3D-Modell erstellen zu können, jedoch kann dies auch mit einem einzigen Bild geschaffen werden. Dies stellt zwar ein schwieriges Unterfangen dar, ist aber machbar, wie das Britische Forscherteam kommentiert: “3D Gesicht Rekonstruktion ist ein grundlegendes Computer Vision Problem von außergewöhnlichen Schwierigkeiten.”

Dem Forscherteam gelang es, den auf künstlicher Intelligenz basierten Algorithmus zu erschaffen, indem ein Faltungs-Neurales Netzwerk mit Datensätzen von 2D-Bilder eines Gesichts sowie 3D-Scans des selben Gesichts “trainiert” wurde. Durch dieses “Training” konnte das Programm effektiv lernen, wie man aus zweidimensionalen Bildern 3D-Modelle konstruiert. Jedoch funktioniert dies ausschließlich, wenn das Gesicht vorwärtsgerichtet ist.

Weiters reagiert diese Software nicht auf detaillierte Gesichter, sondern ist auf Formen ausgerichtet. Eine Technik namens “hierarchische Oberflächenvorhersage” wird verwendet, um die Grenze einer Form sowie mögliche Dimensionen abzubilden. So entstehen vorab rudimentäre Bilder, welche in weiterer Folge verfeinert werden.

Der Algorithmus ist allerdings weit mehr als nur ein lustiges Freizeit-Tool. Vor allem für Anwendungen in der virtuellen Realität könnte dieser von Nutzen sein, beispielsweise bei der Konstruktion realistischer Avatare. Ein weiterer Anwendungsbereich könnte unter anderem die kosmetische Industrie sein, um MakeUp zu testen.

Zwar stellt dieser Algorithmus eine Neuheit dar, jedoch gibt es noch weitere Forschungsprojekte zur Umwandlung von 2D- zu 3D-Bildern. Forscher der Purdue University arbeiten zu diesem Zweck derzeit an einer Deep Learning Software namens SurfNet, während ein Team der Berkeley University einen Weg entwickeln, um 3D-Objekte aus einfachen 2D-Farbbilder zu generieren.

Interessierte können sich derzeit auch ihr eigenes 3D-Gesichtsmodell auf der Webseite der Nottingham University erstellen.