Neue Methode zur Erstellung von 3D-Modellen aus 2D-Bildern

1256

Wissenschaftler des Berkeley Artificial Intelligence Research (BAIR) Lab in den USA haben ein neues Verfahren entwickelt über dieses es möglich ist 3D-Modelle anhand eines einzelnen 2D-Bildes zu erstellen. Dabei kommt eine Methode zum Einsatz welche auf der Vorhersage der Oberfläche des Objekts basiert.

Mit der Technik, die sich „hierarchial surface prediction“ (HSP) nennt, hat das Forscherteam unter der Leitung von Christian Häne einen neuen Prozess entwickelt, mit dem sich 3D-Modelle aus einfachen 2D-Bildern generieren lassen.

Menschen haben die Fähigkeit von einem einfachen 2D-Bild auf die komplette Form eines Objekts zu schließen, wie Häne, wissenschaftlicher Mitarbeiter der UC Berkeley, erklärt:

„Auch wenn wir nur ein Foto eines Objekts sehen haben wir ein solides Verständnis über dessen Form. Zudem können wir auch auf unsichtbare Teile eines Objekts schließen, wie beispielsweise die Rückseite, was eine bedeutende Fähigkeit zum Verständnis von Gegenständen darstellt“

Er und sein Team haben sich die spannende Frage gestellt, wie man einer Maschine diese Fähigkeit lernen kann.

Durch das Separieren der Voxel (3D-Pixel) eines Bildes in die drei Kategorieren belegte Fläche, freie Fläche und Begrenzungen haben die Forscher einen neuen Ansatz gefunden. Bisher hat man sich lediglich auf die Flächen konzentriert, nicht aber deren Begrenzungen, was laut Häne ein Hindernis für höhere Auflösung ist. Durch das Miteinbinden der Grenzen kann das Ergebnis mit einer niedrigeren Auflösung analysiert werden und eine höhere Auflösung der Voxel-Raster hierarchisch vorausberechnet werden. Der Fokus des neuen Ansatzes liegt also lediglich auf der Oberfläche von Objekten und nicht jedem einzelnen Voxel, um so ein 3D-Modell zu generieren.

Um die neue Methode zu testen hat das Team hochauflösende 3D-Modelle aus einem einzelnen 2D-Farbbild erstellt und zwei anderen vorhersagenden Methoden gegenübergestellt (LR hard und LR soft). Dabei ist man zum Ergebnis gekommen, dass sich mit dem HSP genauere 3D-Modelle im Vergleich zu den anderen Verfahren generieren lassen.

Die Studie mit dem Titel „Hierarchical Surface Prediction for 3D Object Reconstruction“ kann hier nachgelesen werden.