Die Technische Universität Ilmenau hat eine innovative Au-dio-Technologie für Augmented und Virtual Reality entwickelt, die es ermöglicht, virtuelle Schallquellen in einer natürlichen Umgebung zu erzeugen. Für eine Person, die sich in dem Raum bewegt, klingt der Schall jederzeit realistisch und überzeugend: Während sie auf die Schallquelle zu geht, daran vorbeiläuft oder sich darum herumbewegt, nimmt sie den Schall so wahr, als ob die Quelle tatsächlich in dem Raum wäre. Die Technologie, die bereits mit dem Meta-Konzern, dem früheren Facebook, weiterentwickelt wird, hat ein riesiges Marktpotenzial, das weit über den Entertainment- und Gaming-Bereich hinausreicht.
Virtual-, Augmented- und Mixed-Reality-Anwendungen, sogenannte immersive Medien, halten immer mehr Einzug in unsere digitale Welt. Dabei tauchen Nutzerinnen und Nutzer in digitale Umgebungen der Virtuellen Realität (VR) ein, die sie durch akustische und optische Informationen als real empfinden, oder aber die Realität wird mithilfe von Augmented Reality (AR) oder Mixed Reality durch zusätzliche akustische und optische Reize erweitert. Beim dreidimensionalen Erleben virtueller Räume spielt der Hörsinn eine elementare Rolle. Nicht nur wenn eine Person darin bewegungslos lauscht, auch wenn sie auf eine virtuelle Schallquelle zu geht, daran vorbeiläuft oder um sie herumgeht, muss ihre Hörwahrnehmung jederzeit in allen drei Dimensionen realistisch sein.
Um ein möglichst naturgetreues Hörempfinden der virtuellen Schallquellen zu erzielen, bedienten sich Akustikexperten bislang weltweit handelsüblicher Kopfhörer und passten die Wiedergabe der im Raum befindlichen Schallquellen entsprechend der Kopfbewegungen und -drehungen des Hörers an. Wenn ein Hörer seine Position in einem Raum ändert, ändert er nicht nur seine Hörposition relativ zur Schallquelle selbst, sondern auch relativ zu jeder reflektierenden Fläche, egal welche Form, Größe und Oberflächenbeschaffenheit diese haben, aus welchem Material sie sind und in welcher Entfernung und Richtung sie sich befinden. Sollen all diese akustischen Details bei der Schallwiedergabe berücksichtigt werden, ist dafür nicht nur eine gigantische Rechenleistung der Computer, sondern auch ein riesiger Mess- und Modellierungsaufwand nötig.
So ist es für eine 3D-Raumsimulationssoftware und für deren Bediener überaus zeitaufwändig, die akustischen Oberflächeneigenschaften einer komplexen Raumumgebung zu rendern, also aus den vorliegenden Rohdaten etwa einer verwinkelten Bibliothek mit Tausenden Büchern ein Umgebungsbild zu erzeugen, um daraus wiederum die für die Schallwiedergabe notwendigen Eigenschaften aller einzelnen Wand-, Regal- und Buch-Oberflächen zu berechnen.
Hier setzen die Forschungsarbeiten der Wissenschaftlerinnen und Wissenschaftler vom Fachgebiet Elektronische Medientechnik der TU Ilmenau an. Um die Datenmenge zu reduzieren, setzten sie auf Vereinfachung: Da Menschen ohnehin nicht alle Schalldetails in ihrer Umgebung wahrnehmen, berücksichtigten die Forscher die Reflexionen der Raumumgebung nur noch in dem geringen Maße, wie sie eben tatsächlich wahrgenommen werden. Damit wurden die Rechenleistung der Computer und vor allem auch der Arbeitsaufwand gegenüber früheren Verfahren drastisch gesenkt.
Die Anwendungsmöglichkeiten der neuen Technologie sind unerschöpflich – vor allem im Entertainment- und Gaming-Bereich, wo zum Beispiel Spielern, während sie in einem virtuellen Gebäude in Ruhe Raum für Raum erkunden, ein realistischer Höreindruck der abenteuerlichen Welt vermittelt wird. In der Industrie kommt die neue Technologie beispielsweise Automobilentwicklern beim Virtual Prototyping zugute: Ein neues Fahrzeug können sie bereits erkunden und erleben, noch bevor ein teurer realer Prototyp gebaut wurde. In der Medizin könnte die Technologie zur Erstellung einer realistischen Trainingsumgebung für Ärzte oder zur Behandlung von Angststörungen und Depressionen Verwendung finden. Im sozialen Bereich könnten mit VR/AR-Technologien Videokonferenzen – die während der Corona-Pandemie im Arbeitsleben exponentiell zugenommen haben – dadurch erweitert werden, dass sich mehrere Teilnehmer in Form von Avataren in einem virtuellen Raum treffen und nicht nur miteinander kommunizieren, sondern gemeinsam verschiedene Aktivitäten durchführen: zusammen arbeiten, Entwürfe erstellen oder ein Spiel spielen.
Auch in Mixed-Reality-Anwendungen, bei denen virtuelle Inhalte in die reale Umgebung eingefügt werden, kann die Ilmenauer Technologie angewendet werden. So könnten reale Gegenstände virtuell Schall erzeugen, wenn etwa ein Gerät selbst erklärt, wie es zu bedienen ist. Und im Kulturbereich werden Anwendungen denkbar, um beispielsweise Exponate im Museum interessanter und zugänglicher zu präsentieren. Mit einer antiken Statue, die scheinbar spricht, könnten junge Menschen für einen Museumsbesuch begeistert werden.
Weltweit stießen die wissenschaftlichen Forschungsarbeiten des Fachgebiets Elektronische Medientechnik der TU Ilmenau auf große Resonanz. Die Ergebnisse des Projekts wurden auf verschiedenen Messen und Kongressen vorgestellt, unter anderem auf dem weltweiten Leitkongress für Akustik, dem International Congress on Acoustics. Noch während das Projekt lief, weckte es das Interesse des Meta-Konzerns, des früheren Facebook, und heute führen TU Ilmenau und Meta die Ilmenauer Forschungsarbeiten gemeinsam durch. Annika Neidhardt, die die Forschungsarbeiten zu der innovativen Audiotechnologie mit ihrem Team wesentlich vorangetrieben hat, wurde unterdessen zur Leiterin des Fachausschusses für Virtuelle Akustik der Deutschen Gesellschaft für Akustik gewählt, der die Bedeutung der virtuellen Akustik für nützliche Anwendungen auch jenseits des Gaming- und Entertainmentbereichs herausstellt: „Augmented und Mixed Reality werden unsere künftigen Arbeits- und Lebensweise nachhaltig verändern und unsere Kommunikation und Interaktion, also unser gesamtes soziales Miteinander beeinflussen. Es ergeben sich ganz neue Möglichkeiten, Innovationen zu schaffen, Produktionsprozesse zu entwickeln, Gesundheit zu fördern, Lehre zu gestalten, Kunst zu denken und Musik zu erleben. Wir müssen nur beginnen, sie zu nutzen.“
Virtual-, Augmented- und Mixed-Reality-Anwendungen, sogenannte immersive Medien, halten immer mehr Einzug in unsere digitale Welt. Dabei tauchen Nutzerinnen und Nutzer in digitale Umgebungen der Virtuellen Realität (VR) ein, die sie durch akustische und optische Informationen als real empfinden, oder aber die Realität wird mithilfe von Augmented Reality (AR) oder Mixed Reality durch zusätzliche akustische und optische Reize erweitert. Beim dreidimensionalen Erleben virtueller Räume spielt der Hörsinn eine elementare Rolle. Nicht nur wenn eine Person darin bewegungslos lauscht, auch wenn sie auf eine virtuelle Schallquelle zu geht, daran vorbeiläuft oder um sie herumgeht, muss ihre Hörwahrnehmung jederzeit in allen drei Dimensionen realistisch sein.
Um ein möglichst naturgetreues Hörempfinden der virtuellen Schallquellen zu erzielen, bedienten sich Akustikexperten bislang weltweit handelsüblicher Kopfhörer und passten die Wiedergabe der im Raum befindlichen Schallquellen entsprechend der Kopfbewegungen und -drehungen des Hörers an. Wenn ein Hörer seine Position in einem Raum ändert, ändert er nicht nur seine Hörposition relativ zur Schallquelle selbst, sondern auch relativ zu jeder reflektierenden Fläche, egal welche Form, Größe und Oberflächenbeschaffenheit diese haben, aus welchem Material sie sind und in welcher Entfernung und Richtung sie sich befinden. Sollen all diese akustischen Details bei der Schallwiedergabe berücksichtigt werden, ist dafür nicht nur eine gigantische Rechenleistung der Computer, sondern auch ein riesiger Mess- und Modellierungsaufwand nötig.
So ist es für eine 3D-Raumsimulationssoftware und für deren Bediener überaus zeitaufwändig, die akustischen Oberflächeneigenschaften einer komplexen Raumumgebung zu rendern, also aus den vorliegenden Rohdaten etwa einer verwinkelten Bibliothek mit Tausenden Büchern ein Umgebungsbild zu erzeugen, um daraus wiederum die für die Schallwiedergabe notwendigen Eigenschaften aller einzelnen Wand-, Regal- und Buch-Oberflächen zu berechnen.
Hier setzen die Forschungsarbeiten der Wissenschaftlerinnen und Wissenschaftler vom Fachgebiet Elektronische Medientechnik der TU Ilmenau an. Um die Datenmenge zu reduzieren, setzten sie auf Vereinfachung: Da Menschen ohnehin nicht alle Schalldetails in ihrer Umgebung wahrnehmen, berücksichtigten die Forscher die Reflexionen der Raumumgebung nur noch in dem geringen Maße, wie sie eben tatsächlich wahrgenommen werden. Damit wurden die Rechenleistung der Computer und vor allem auch der Arbeitsaufwand gegenüber früheren Verfahren drastisch gesenkt.
Die Anwendungsmöglichkeiten der neuen Technologie sind unerschöpflich – vor allem im Entertainment- und Gaming-Bereich, wo zum Beispiel Spielern, während sie in einem virtuellen Gebäude in Ruhe Raum für Raum erkunden, ein realistischer Höreindruck der abenteuerlichen Welt vermittelt wird. In der Industrie kommt die neue Technologie beispielsweise Automobilentwicklern beim Virtual Prototyping zugute: Ein neues Fahrzeug können sie bereits erkunden und erleben, noch bevor ein teurer realer Prototyp gebaut wurde. In der Medizin könnte die Technologie zur Erstellung einer realistischen Trainingsumgebung für Ärzte oder zur Behandlung von Angststörungen und Depressionen Verwendung finden. Im sozialen Bereich könnten mit VR/AR-Technologien Videokonferenzen – die während der Corona-Pandemie im Arbeitsleben exponentiell zugenommen haben – dadurch erweitert werden, dass sich mehrere Teilnehmer in Form von Avataren in einem virtuellen Raum treffen und nicht nur miteinander kommunizieren, sondern gemeinsam verschiedene Aktivitäten durchführen: zusammen arbeiten, Entwürfe erstellen oder ein Spiel spielen.
Auch in Mixed-Reality-Anwendungen, bei denen virtuelle Inhalte in die reale Umgebung eingefügt werden, kann die Ilmenauer Technologie angewendet werden. So könnten reale Gegenstände virtuell Schall erzeugen, wenn etwa ein Gerät selbst erklärt, wie es zu bedienen ist. Und im Kulturbereich werden Anwendungen denkbar, um beispielsweise Exponate im Museum interessanter und zugänglicher zu präsentieren. Mit einer antiken Statue, die scheinbar spricht, könnten junge Menschen für einen Museumsbesuch begeistert werden.
Weltweit stießen die wissenschaftlichen Forschungsarbeiten des Fachgebiets Elektronische Medientechnik der TU Ilmenau auf große Resonanz. Die Ergebnisse des Projekts wurden auf verschiedenen Messen und Kongressen vorgestellt, unter anderem auf dem weltweiten Leitkongress für Akustik, dem International Congress on Acoustics. Noch während das Projekt lief, weckte es das Interesse des Meta-Konzerns, des früheren Facebook, und heute führen TU Ilmenau und Meta die Ilmenauer Forschungsarbeiten gemeinsam durch. Annika Neidhardt, die die Forschungsarbeiten zu der innovativen Audiotechnologie mit ihrem Team wesentlich vorangetrieben hat, wurde unterdessen zur Leiterin des Fachausschusses für Virtuelle Akustik der Deutschen Gesellschaft für Akustik gewählt, der die Bedeutung der virtuellen Akustik für nützliche Anwendungen auch jenseits des Gaming- und Entertainmentbereichs herausstellt: „Augmented und Mixed Reality werden unsere künftigen Arbeits- und Lebensweise nachhaltig verändern und unsere Kommunikation und Interaktion, also unser gesamtes soziales Miteinander beeinflussen. Es ergeben sich ganz neue Möglichkeiten, Innovationen zu schaffen, Produktionsprozesse zu entwickeln, Gesundheit zu fördern, Lehre zu gestalten, Kunst zu denken und Musik zu erleben. Wir müssen nur beginnen, sie zu nutzen.“
