Das innovative Rekonstruktionsverfahren des Fraunhofer HHI erlaubt die Erzeugung von natürlich wirkenden, dynamischen 3D-Modellen von Personen, die in ihrer Wirkung bezüglich Authentizität und Realismus weit über konventionelle Animationen virtueller Charaktere hinausgehen. Die 3D-Modelle werden anhand einer großen Anzahl unterschiedlicher Videoperspektiven erstellt, sodass insbesondere Gestik, Mimik und Texturen (Haut, Haare und Stoff) exakt rekonstruiert und somit auch Gesichtsausdrücke und sich bewegende Kleidung naturgetreu wiedergegeben werden können.
Die 3D-Modelle der Personen werden anschließend in eine virtuelle Szene integriert. Damit hat der Betrachter die Möglichkeit, diese virtualisierten Personen mit einer Virtual Reality-Brille sehr nah und aus verschiedenen Blickwinkeln zu betrachten. Er taucht so direkt in die Szene ein und erlebt die Geschichte aus nächster Nähe. Er erfährt eine ganz neue Art von Immersion und virtuellem Erlebnis.
Bei einigen Anwendungen kann sich der Betrachter nicht nur frei in der Szene bewegen, sondern auch mit Hilfe eines Hand-Controllers, der in der virtuellen Welt eine Fackel darstellt, die Szene unterschiedlich stark beleuchten. Mit Hilfe der Fackel kann der Nutzer in der Szene auf Entdeckungstour gehen.