Das Fraunhofer HHI zeigte auf der IBC 2017 ein neues Medienprofil für die Bereitstellung von Virtual Reality-Inhalten. Die laufenden Arbeiten der MPEG am Omnidirectional Media Application Format (OMAF) zielen darauf ab, die Speicher- und Auslieferungsformate für VR-Videoinhalte bis Ende dieses Jahres zu standardisieren. Eine der vielversprechendsten Techniken für das Streaming von 360-Grad-VR-Videos, das von OMAF berücksichtigt wird, ist das viewport-dependent Streaming auf Basis von HEVC-Kacheln (englisch tiles).
In einem herkömmlichen Übertragungsverfahren wird der gesamte 360-Grad-VR-Videoinhalt in einer einzigen Auflösung gestreamt. Ein solcher Ansatz opfert die Videoqualität im sichtbaren Bereich für Pixel, die dem Benutzer die meiste Zeit nicht einmal präsentiert werden. Das Fraunhofer HHI implementiert das OMAF viewport-dependent Streaming-Profil auf Basis von HEVC-Tiles und überwindet damit die Herausforderungen, ultrahochauflösende Inhalte im Kontext begrenzter Bandbreite und Decoderkapazitäten auf mobile Endgeräten zu übertragen.
Hohe Auflösung, geringer Speicherbedarf
„Wir unterteilen das gesamte 360-Grad-Video in Kacheln, die unabhängig voneinander kodiert werden - deshalb nennen wir unsere Technologie Tile-based Streaming“, erklärt Robert Skupin, Wissenschaftler am Fraunhofer HHI. „In Blickrichtung des Benutzers ist das Bild hochauflösend, hinter ihm niedrig aufgelöst.“ Der wesentliche Unterschied zum Stand der Technik besteht darin, dass das Endgerät entscheidet, welche Kacheln in hoher Auflösung herunterzuladen sind und welche in niedriger Auflösung. Es fügt die Kacheln zusammen, die es benötigt, um das gewünschte Bild in der richtigen Auflösung zu erzeugen, anstatt eines von mehreren vorbereiteten Videos herunterzuladen. Das bedeutet, dass im Gegensatz zu den bestehenden Videos, jede Kachel nur einmal auf dem Server gespeichert werden muss. „Die Auflösung ist hoch, die Betriebskosten sind niedrig und die Technologie eröffnet darüber hinaus mehrere Freiheitsgrade in verschiedenen Bereichen, wie zum Beispiel die dynamische Anpassung der Übertragungsraten an die Kanalkapazität“, sagt Skupin.
Um mit der kachelbasierten Streaming-Technologie virtuelle Welten in hoher Auflösung zu erstellen, benötigt man einerseits einen geeigneten Video-Codec und andererseits einen effizienten Übertragungsstandard. Was den Video-Codec betrifft, so existiert er bereits in Form von HEVC. HEVC ist der erste Videostandard, bei dem alle Endgeräte einen kachelbasierten Ansatz unterstützen und somit bereits für Tile-Based Streaming vorbereitet sind", erläutert Skupin. Der notwendige Übertragungsstandard, das „Omnidirectional Media Application Format“ (OMAF), wird derzeit vom MPEG-Normungsausschuss entwickelt und soll bis Ende 2017 fertiggestellt sein. Auch die Fraunhofer HHI-Forscher sind beteiligt: Sie erweitern den Standard, sodass dieser Tile-based Streaming ermöglicht, um aktuelle und zukünftige Geräte optimal mit hochauflösendem Video zu versorgen.
Die Forscher des Fraunhofer HHI bringen die HEVC-basierte Technologie auch in das VR Industry Forum (VRIF) ein, das gebildet wurde, um die Verbreitung von qualitativ hochwertigen audiovisuellen VR-Erlebnissen zu fördern. Auf der IBC 2017 präsentierte das VRIF den ersten Entwurf seiner Branchenrichtlinien. Die Richtlinien ermöglichen es, qualitativ hochwertige VR-Erfahrungen zu liefern und betonen die Interoperabilität in einem offenen Ökosystem. Teil dieser Richtlinien ist das u.a. vom Fraunhofer HHI vorgeschlagene „MPEG OMAF viewport-dependent“ Profil mit HEVC-Tiles für VR-Video-Streaming. Die Fraunhofer HHI-Implementierung des MPEG OMAF viewport-dependent Profils, welches HEVC-Tiles nutzt, wurde auf der IBC vorgestellt.
In einem herkömmlichen Übertragungsverfahren wird der gesamte 360-Grad-VR-Videoinhalt in einer einzigen Auflösung gestreamt. Ein solcher Ansatz opfert die Videoqualität im sichtbaren Bereich für Pixel, die dem Benutzer die meiste Zeit nicht einmal präsentiert werden. Das Fraunhofer HHI implementiert das OMAF viewport-dependent Streaming-Profil auf Basis von HEVC-Tiles und überwindet damit die Herausforderungen, ultrahochauflösende Inhalte im Kontext begrenzter Bandbreite und Decoderkapazitäten auf mobile Endgeräten zu übertragen.
Hohe Auflösung, geringer Speicherbedarf
„Wir unterteilen das gesamte 360-Grad-Video in Kacheln, die unabhängig voneinander kodiert werden - deshalb nennen wir unsere Technologie Tile-based Streaming“, erklärt Robert Skupin, Wissenschaftler am Fraunhofer HHI. „In Blickrichtung des Benutzers ist das Bild hochauflösend, hinter ihm niedrig aufgelöst.“ Der wesentliche Unterschied zum Stand der Technik besteht darin, dass das Endgerät entscheidet, welche Kacheln in hoher Auflösung herunterzuladen sind und welche in niedriger Auflösung. Es fügt die Kacheln zusammen, die es benötigt, um das gewünschte Bild in der richtigen Auflösung zu erzeugen, anstatt eines von mehreren vorbereiteten Videos herunterzuladen. Das bedeutet, dass im Gegensatz zu den bestehenden Videos, jede Kachel nur einmal auf dem Server gespeichert werden muss. „Die Auflösung ist hoch, die Betriebskosten sind niedrig und die Technologie eröffnet darüber hinaus mehrere Freiheitsgrade in verschiedenen Bereichen, wie zum Beispiel die dynamische Anpassung der Übertragungsraten an die Kanalkapazität“, sagt Skupin.
Um mit der kachelbasierten Streaming-Technologie virtuelle Welten in hoher Auflösung zu erstellen, benötigt man einerseits einen geeigneten Video-Codec und andererseits einen effizienten Übertragungsstandard. Was den Video-Codec betrifft, so existiert er bereits in Form von HEVC. HEVC ist der erste Videostandard, bei dem alle Endgeräte einen kachelbasierten Ansatz unterstützen und somit bereits für Tile-Based Streaming vorbereitet sind", erläutert Skupin. Der notwendige Übertragungsstandard, das „Omnidirectional Media Application Format“ (OMAF), wird derzeit vom MPEG-Normungsausschuss entwickelt und soll bis Ende 2017 fertiggestellt sein. Auch die Fraunhofer HHI-Forscher sind beteiligt: Sie erweitern den Standard, sodass dieser Tile-based Streaming ermöglicht, um aktuelle und zukünftige Geräte optimal mit hochauflösendem Video zu versorgen.
Die Forscher des Fraunhofer HHI bringen die HEVC-basierte Technologie auch in das VR Industry Forum (VRIF) ein, das gebildet wurde, um die Verbreitung von qualitativ hochwertigen audiovisuellen VR-Erlebnissen zu fördern. Auf der IBC 2017 präsentierte das VRIF den ersten Entwurf seiner Branchenrichtlinien. Die Richtlinien ermöglichen es, qualitativ hochwertige VR-Erfahrungen zu liefern und betonen die Interoperabilität in einem offenen Ökosystem. Teil dieser Richtlinien ist das u.a. vom Fraunhofer HHI vorgeschlagene „MPEG OMAF viewport-dependent“ Profil mit HEVC-Tiles für VR-Video-Streaming. Die Fraunhofer HHI-Implementierung des MPEG OMAF viewport-dependent Profils, welches HEVC-Tiles nutzt, wurde auf der IBC vorgestellt.
