MIT verwendet KI und 3D Druck, um klassische Kunstwerke zu reproduzieren

Forscher des Laboratoriums für Informatik und künstliche Intelligenz des MIT (CSAIL), Massachusetts, haben ein System zur Reproduzierung von Gemälden mithilfe des 3D-Drucks und der künstlichen Intelligenz (KI) entwickelt.

RePaint, das Reproduktionswerkzeug des CSAIL-Teams, reproduziert präzise Farben auch bei unterschiedlichen Lichtverhältnissen.

Die leeren Rahmen im Isabella Stewart Gardner Museum erinnern an den größten ungelösten Kunstraub der Welt. Während die ursprünglichen Meisterwerke möglicherweise nie wiederhergestellt werden können, kann ein Team des Laboratoriums für Informatik und künstliche Intelligenz (CSAIL) des MIT möglicherweise mit einem neuen System zur Erstellung von Reproduktionen von Gemälden helfen.

RePaint verwendet eine Kombination aus 3-D-Druck und deep learning, um Lieblingsbilder authentisch neu zu erstellen – unabhängig von den unterschiedlichen Lichtverhältnissen oder Platzierungen. RePaint kann verwendet werden, um Kunstwerke für ein Zuhause neu zu gestalten, Originale vor Abnutzung in Museen zu schützen oder Firmen dabei zu helfen, Drucke und Postkarten historischer Stücke zu erstellen.

“Wenn Sie die Farbe eines Gemäldes nur so reproduzieren, wie es in der Galerie aussieht, könnte es bei Ihnen zu Hause anders aussehen”, sagt Changil Kim, einer der Autoren eines neuen Papiers über das System, das auf der ACM SIGGRAPH Asia präsentiert wird Im Dezember. „Unser System funktioniert bei jeder Lichtsituation, die eine weitaus bessere Farbwiedergabefähigkeit zeigt als bei fast allen anderen vorherigen Arbeiten.“

Um RePaint zu testen, reproduzierte das Team eine Reihe von Ölgemälden, die von einem künstlerischen Mitarbeiter erstellt wurden. Das Team stellte fest, dass RePaint bei der Erstellung der exakten Farbschattierungen für verschiedene Kunstwerke mehr als viermal so genau war wie moderne physische Modelle.

Zu diesem Zeitpunkt haben die Reproduktionen aufgrund des zeitaufwändigen Druckens nur die Größe einer Visitenkarte. In Zukunft erwartet das Team, dass fortschrittlichere, kommerzielle 3D-Drucker dazu beitragen können, größere Bilder effizienter herzustellen.

Während 2-D-Drucker am häufigsten für die Wiedergabe von Gemälden verwendet werden, verfügen sie über einen festen Satz von nur vier Tinten (Cyan, Magenta, Gelb und Schwarz). Die Forscher fanden jedoch einen besseren Weg, um ein umfassenderes Spektrum von Degas und Dali zu erfassen. Sie verwendeten eine spezielle Technik, die als “Color-Contoning” bezeichnet wird. Sie verwendet einen 3-D-Drucker und 10 verschiedene transparente Tinten, die in sehr dünnen Schichten gestapelt sind, ähnlich wie die Wafer und die Schokolade in eines Kit-Kat-Riegels. Sie kombinierten ihre Methode mit einer jahrhundertealten Technik, der Halbtonung, bei der ein Bild durch viele kleine farbige Punkte und nicht durch kontinuierliche Töne erzeugt wird. Durch die Kombination dieser Elemente werden die Nuancen der Farben besser erfasst.

Bei einem größeren Farbspielraum bleibt die Frage, welche Druckfarben für welche Bilder noch zu verwenden werden. Anstatt mühsamere physische Ansätze zu verwenden, trainierte das Team ein deep learning Modell, um den optimalen Farbpalette unterschiedlicher Tinten vorherzusagen. Nachdem das System das beherrscht hatte, fügten sie Bilder von Gemälden ein und ermittelten anhand des Modells, welche Farben in welchen Bereichen für bestimmte Gemälde verwendet werden sollten.

Trotz des bisherigen Fortschritts sagt das Team, dass sie einige Verbesserungen vornehmen müssen, bevor sie ein schillerndes Duplikat von „Starry Night“ herstellen können. Beispielsweise sagte Maschinenbauingenieur Mike Foshey, dass bestimmte Farben wie Kobaltblau nicht vollständig reproduziert werden könnten zu einer begrenzten Tintenbibliothek. In der Zukunft planen sie, diese Bibliothek zu erweitern und einen malungsspezifischen Algorithmus für die Auswahl von Tinten zu erstellen, sagt er. Sie können auch hoffen, bessere Details zu erzielen, um Aspekte wie Oberflächentextur und -reflexion zu berücksichtigen und spezifische Effekte wie glänzende und matte Oberflächen zu erzielen.

„Der Wert von bildender Kunst hat in den letzten Jahren stark zugenommen, so dass die Tendenz besteht, dass sie außerhalb der Öffentlichkeit in Lagerhäusern eingesperrt werden“, sagt Foshey. “Wir bauen die Technologie, um diesen Trend umzukehren und kostengünstige und genaue Reproduktionen zu schaffen, die allen zugänglich sind.”

Kim und Foshey arbeiteten zusammen mit dem Hauptautor Liang Shi an dem System. MIT-Professor Wojciech Matusik; ehemaliger MIT-Postdoc Vahid Babaei, jetzt Gruppenleiter am Max-Planck-Institut für Informatik; Szymon Rusinkiewicz, Professor für Informatik an der Princeton University; und ehemaliger MIT-Postdoc Pitchaya Sitthi-Amorn, der jetzt Dozent an der Chulalongkorn-Universität in Bangkok, Thailand ist.