Physische Objekte für die virtuelle Realität mit dem Smartphone erzeugen

Ein weltweites Team von Informatikern hat eine neuartige Methode entwickelt, mit der physische Objekte für den virtuellen und erweiterten Realitätsraum nur mit einer Point-and-Shoot-Kamera mit Blitz repliziert werden können, ohne dass dazu zusätzliche und oftmals teure unterstützende Hardware erforderlich ist.

Das Erfassen und Reproduzieren realistischer Objekte für jede virtuelle Umgebung ist komplex und zeitaufwändig. Stellen Sie sich vor, Sie verwenden eine herkömmliche Kamera mit integriertem Blitzgerät – von jedem mobilen Gerät oder einer handelsüblichen Digitalkamera -, um diese Aufgabe zu vereinfachen. Ein weltweites Team von Informatikern hat eine neuartige Methode entwickelt, mit der physische Objekte für den virtuellen und erweiterten Realitätsraum nur mit einer Point-and-Shoot-Kamera mit Blitz repliziert werden können, ohne dass dazu zusätzliche und oftmals teure unterstützende Hardware erforderlich ist.

“Um ein reales Objekt in der VR/AR-Umgebung originalgetreu wiedergeben zu können, müssen wir die 3D-Geometrie und das Erscheinungsbild des Objekts reproduzieren”, sagt Min H. Kim, Professor für Informatik am KAIST in Südkorea und Hauptautor von die Forschung. “Traditionell wurde dies entweder manuell von 3D-Künstlern durchgeführt, was eine arbeitsintensive Aufgabe ist, oder durch Verwendung spezieller, teurer Hardware. Unsere Methode ist unkompliziert, kostengünstiger und effizienter und reproduziert realistische 3D-Objekte, indem nur Fotos von einer einzigen aufgenommen werden Kamera mit eingebautem Blitz.”

Kim und seine Mitarbeiter Diego Gutierrez, Professor für Informatik an der Universidad de Zaragoza in Spanien, sowie die KAIST-Doktoranden Giljoo Nam und Joo Ho Lee haben diese neue Arbeit auf der SIGGRAPH Asia 2018 vom 4. bis 7. Dezember in Tokio präsentiert. Die jährliche Konferenz umfasst die angesehensten technischen und kreativen Mitglieder auf dem Gebiet der Computergrafik und interaktiven Techniken und zeigt führende Forschung in den Bereichen Wissenschaft, Kunst, Spiele und Animation unter anderem.

Bestehende Ansätze für die Erfassung physischer Objekte erfordern spezielle Hardware-Einstellungen, um die gewünschten Objekte mit Geometrie und Aussehen zu modellieren. Zu diesen Einstellungen zählen ein 3D-Laserscanner oder mehrere Kameras oder eine Lichtkuppel mit mehr als hundert Lichtquellen. Im Gegensatz dazu benötigt diese neue Technik nur eine einzige Kamera, um qualitativ hochwertige Ausgaben zu erzeugen.

“Viele traditionelle Methoden, die eine einzige Kamera verwenden, können nur die 3D-Geometrie von Objekten erfassen, nicht jedoch die komplexe Reflexion realer Objekte, die vom SVBRDF vorgegeben werden”, bemerkt Kim. SVBRDF, das für räumlich variierende bidirektionale Reflektionsverteilungsfunktionen steht, ist der Schlüssel, um die Form und das Erscheinungsbild eines Objekts in der Realität zu erhalten. “Wenn Sie nur 3D-Geometrie verwenden, kann das realistische Erscheinungsbild des Objekts in der AR/VR-Umgebung nicht reproduziert werden. Mit unserer Technik können Sie qualitativ hochwertige 3D-Geometrie sowie deren Materialdarstellung erfassen, sodass die Objekte in jeder virtuellen Umgebung realistisch gerendert werden können.”

Die Gruppe demonstrierte ihren Rahmen mit einer Digitalkamera, der Nikon D7000 und der eingebauten Kamera eines Android-Handys in einer Reihe von Beispielen in ihrem Artikel “Practical SVBRDF Acquisition of 3D Objects with Unstructured Flash
Photography”. Mit dem neuartigen Algorithmus, für den keine Eingabegeometrie des Zielobjekts erforderlich ist, wurden die Geometrie und das Erscheinungsbild von 3D-Objekten mit einfachen Blitzlichtaufnahmen erfasst und konsistente Ergebnisse reproduziert. Zu den Beispielen, die in der Arbeit gezeigt wurden, gehörten eine Vielzahl von Objekten, die eine breite Palette von Geometrien und Materialien umfassten, darunter Metall, Holz, Kunststoff, Keramik, Harz und Papier, und komplexe Formen wie ein fein detailliertes Mini-Statut von Nefertiti enthielten.

In zukünftigen Arbeiten hoffen die Forscher, den Erfassungsprozess weiter zu vereinfachen oder die Methode um dynamische Geometrie oder größere Szenen zu erweitern.