2D-Fotos in 3D-Modelle mit AI umwandeln

Viele Menschen, die sich mit 3D-Druck sowie 3D-Modelle beschäftigen, machen sich Gedanken wie man am besten 2D-Bilder oder Fotos in 3D-Modelle umwandeln kann. Hierzu gibt es schon viele verschiedene Ansätze sowie Projekte.

So haben wir erst kürzlich von dem Forschungsprojekt “Source Form” von der Virginia Polytechnic Institute und der State University berichtet. Deren Software kann anhand von der Google-Bildersuche Fotos von dem gleichen Objekt sammeln und daraus ein 3D-Modell erstellen. Die mit dieser Methode generierten Modelle sind zwar noch sehr fehlerhaft, aber zeigen in welche Richtung die Umwandlung von 2D-Bildern gehen kann.

https://www.youtube.com/watch?v=-p5s-eZF2u0

Mit ähnlichen Projekten und wissenschaftlichen Arbeiten beschäftigt sich Peter Naftaliev, ein Spezialist für Künstliche Intelligenz (AI) und Berater in diesem Bereich. Er bloggt seine neuesten Erkentnisse zu dem Thema 2D zu 3D-Bilder unter 2d3d.ai.

So zeigt er anhand einer wissenschaftlichen Arbeit, die von Facebook Wissenschaftler veröffentlicht wurde, wie ein 2D-Bild mit Hilfe eines neuronalen Netzwerks analysiert und danach in ein 3D-Modell umgewandelt wird.

In der Abbildung aus dem wissenschaftlichen Paper sieht man das ursprüngliche Foto. Eine Software erkennt darauf die Objekte, die in Voxels umgewandelt und danach in ein 3D-Modell umgewandelt werden.

In einer weiteren Studie beschäftigt sich der Spezialist mit einer Arbeit bei der ebenfalls ein 3D-Modell aus einem Foto generiert wird. Hier wird das Foto mit einer Datenbank mit Fotos und Modellen abgeglichen. Dadurch kann ein 3D-Modell geschaffen werden. Umso mehr Bilder eine solche Datenbank hat, umso besser werden die Resultate.