Auf der IBC 2018 präsentiert das Fraunhofer Heinrich-Hertz-Institut vom 14. bis 18. September in Amsterdam aktuelle sowie nie zuvor gezeigte Innovationen aus dem Bereich der Videotechnologien. Forschende des Fraunhofer HHI zeigen am Fraunhofer-Gemeinschaftsstand 8.B80 unter anderem einen Demonstrator für durchgängiges VR360-Grad Live-Video-Streaming mit einer Auflösung größer als 4K und einer Gesamt-Latenz von unter 6 Sekunden. Erstmals wird der Öffentlichkeit die aktuelle Version des HEVC-Nachfolgers Versatile Video Coding (VVC) vorgestellt. Außerdem werden die aktuellen Entwicklungen von 3D Human Body Reconstruction für Virtual und Augmented Reality gezeigt, die Grundlage des im Juni 2018 eröffneten volumetrischen Videostudios im Filmpark Potsdam-Babelsberg sind.
Live-Streaming von VR360-Grad 10K-Video mit MPEG-OMAF und HEVC Tiles
Das Streaming von qualitativ hochwertigen VR360-Grad-Videos mit Auflösungen von bis zu 10K x 4K braucht viel Bandbreite. Darüber hinaus erfordert das kodierte Video auf der Empfangsseite Decodier-Fähigkeiten jenseits von 4K-Video, z.B. bei VR-Brillen mit einem Mobiltelefon. Vollständig standardisiertes HEVC Tile-basiertes Streaming löst diese Probleme, indem es das 360-Grad-Video in einzelne Kacheln (engl. Tiles) zerlegt. Jedes Tile wird mit HEVC in der originalen High-Definition und einer zusätzlichen Low-Definition Auflösung codiert. Der neue MPEG-OMAF-Standard erlaubt es, die einzelnen HEVC-Tile-Ströme so zu verpacken, dass der Empfänger, z.B. eine VR-Brille oder ein TV-Bildschirm, die hochauflösenden Tiles für das Sichtfeld des Benutzers und die niedrigauflösenden Tiles für die Bereiche außerhalb des Blickfeldes anfordern kann. Die empfangenen Tiles werden am Endgerät zu einem einzigen HEVC-kompatiblen Videostrom zusammengefasst und können mit einem Legacy-Hardware-Videodecoder auf dem Endgerät dekodiert werden.
Das Fraunhofer HHI präsentiert auf der IBC zum ersten Mal in Europa einen Demonstrator für durchgängiges VR360-Grad Live-Video-Streaming mit einer Auflösung größer als 4K. Der Demonstrator beinhaltet 360-Grad-Video-Aufnahme und Live-Rendering von der Fraunhofer HHI Omnicam-360 mit einer Auflösung von 10K x 4K, HEVC Tile-basiertes Live-Encoding mit dem Fraunhofer HHI HEVC-Encoder, Packetierung der Videoströme mit dem neuen MPEG-OMAF viewport-dependent Medienprofil und die Übertragung und Wiedergabe auf neuesten VR-Brillen und TV-Bildschirmen.
Versatile Video Coding (VVC), der Nachfolger von HEVC
Komprimierte Videodaten nehmen schneller zu als jemals zuvor. Bereits heute bilden sie den mit Abstand höchsten Anteil von Bits im Internet und im mobilen Datenverkehr. Dies veranschaulicht den Bedarf nach noch effizienterer Komprimierung über den aktuellen High Efficiency Video Coding Standard (HEVC) hinaus. Um diese anspruchsvolle Herausforderung zu bewältigen, haben die „ITU-T Video Coding Expert Group (VCEG)“ und die „ISO/IEC Moving Pictures Expert Group (MPEG)“ bereits mit der Zusammenarbeit in dem „Joint Video Experts Team (JVET)“ begonnen. Nachdem das Fraunhofer HHI und andere führende Technologieunternehmen, vielversprechende Vorschläge zur HEVC-Nachfolge eingereicht haben, hat im April die Standardisierung des Versatile Video Coding (VVC) genannten HEVC-Nachfolgers begonnen. Im Jahr 2020 soll die Standardisierung abgeschlossen sein und der finale Standard 50 Prozent Bitratenreduktion gegenüber HEVC erreichen.
Auf der IBC 2018 stellt das Fraunhofer HHI die aktuelle Version des VVC Referenz-Codecs (VTM-2.0) erstmals der Öffentlichkeit vor. Diese noch frühe Version zeigt bereits signifikante Effizienzsteigerungen in der Komprimierung im Vergleich zu HEVC für ein breites Spektrum an Videoinhalten von High Definition (HD) bis hin zu High Dynamic Range Ultra-HD.
Volumetrische Videoproduktion und Workflow
Das Fraunhofer Heinrich-Hertz-Institut und die VoluCap GmbH präsentieren ein neuartiges und innovatives Capture-Studio sowie einen Verarbeitungs-Workflow für hochwertige volumetrische Videoproduktionen für zukünftige VR/AR-Medienproduktionen.
Im Juni 2018 wurde im Filmpark Potsdam-Babelsberg das erste volumetrische Videostudio auf dem europäischen Festland eröffnet. Reale Personen werden mit mehreren hochauflösenden Kameras in einer professionellen Studioumgebung aufgenommen. Eine leistungsstarke Verarbeitungssuite erzeugt automatisch dynamische 3D-Modelle, die in AR/VR-Anwendungen integriert werden können. Das System unterstützt diffuses oder synchronisiertes szenisches Licht aus jeder Richtung, automatisches Keying und flexible Multi-Kamera-Anordnungen.
Live-Streaming von VR360-Grad 10K-Video mit MPEG-OMAF und HEVC Tiles
Das Streaming von qualitativ hochwertigen VR360-Grad-Videos mit Auflösungen von bis zu 10K x 4K braucht viel Bandbreite. Darüber hinaus erfordert das kodierte Video auf der Empfangsseite Decodier-Fähigkeiten jenseits von 4K-Video, z.B. bei VR-Brillen mit einem Mobiltelefon. Vollständig standardisiertes HEVC Tile-basiertes Streaming löst diese Probleme, indem es das 360-Grad-Video in einzelne Kacheln (engl. Tiles) zerlegt. Jedes Tile wird mit HEVC in der originalen High-Definition und einer zusätzlichen Low-Definition Auflösung codiert. Der neue MPEG-OMAF-Standard erlaubt es, die einzelnen HEVC-Tile-Ströme so zu verpacken, dass der Empfänger, z.B. eine VR-Brille oder ein TV-Bildschirm, die hochauflösenden Tiles für das Sichtfeld des Benutzers und die niedrigauflösenden Tiles für die Bereiche außerhalb des Blickfeldes anfordern kann. Die empfangenen Tiles werden am Endgerät zu einem einzigen HEVC-kompatiblen Videostrom zusammengefasst und können mit einem Legacy-Hardware-Videodecoder auf dem Endgerät dekodiert werden.
Das Fraunhofer HHI präsentiert auf der IBC zum ersten Mal in Europa einen Demonstrator für durchgängiges VR360-Grad Live-Video-Streaming mit einer Auflösung größer als 4K. Der Demonstrator beinhaltet 360-Grad-Video-Aufnahme und Live-Rendering von der Fraunhofer HHI Omnicam-360 mit einer Auflösung von 10K x 4K, HEVC Tile-basiertes Live-Encoding mit dem Fraunhofer HHI HEVC-Encoder, Packetierung der Videoströme mit dem neuen MPEG-OMAF viewport-dependent Medienprofil und die Übertragung und Wiedergabe auf neuesten VR-Brillen und TV-Bildschirmen.
Versatile Video Coding (VVC), der Nachfolger von HEVC
Komprimierte Videodaten nehmen schneller zu als jemals zuvor. Bereits heute bilden sie den mit Abstand höchsten Anteil von Bits im Internet und im mobilen Datenverkehr. Dies veranschaulicht den Bedarf nach noch effizienterer Komprimierung über den aktuellen High Efficiency Video Coding Standard (HEVC) hinaus. Um diese anspruchsvolle Herausforderung zu bewältigen, haben die „ITU-T Video Coding Expert Group (VCEG)“ und die „ISO/IEC Moving Pictures Expert Group (MPEG)“ bereits mit der Zusammenarbeit in dem „Joint Video Experts Team (JVET)“ begonnen. Nachdem das Fraunhofer HHI und andere führende Technologieunternehmen, vielversprechende Vorschläge zur HEVC-Nachfolge eingereicht haben, hat im April die Standardisierung des Versatile Video Coding (VVC) genannten HEVC-Nachfolgers begonnen. Im Jahr 2020 soll die Standardisierung abgeschlossen sein und der finale Standard 50 Prozent Bitratenreduktion gegenüber HEVC erreichen.
Auf der IBC 2018 stellt das Fraunhofer HHI die aktuelle Version des VVC Referenz-Codecs (VTM-2.0) erstmals der Öffentlichkeit vor. Diese noch frühe Version zeigt bereits signifikante Effizienzsteigerungen in der Komprimierung im Vergleich zu HEVC für ein breites Spektrum an Videoinhalten von High Definition (HD) bis hin zu High Dynamic Range Ultra-HD.
Volumetrische Videoproduktion und Workflow
Das Fraunhofer Heinrich-Hertz-Institut und die VoluCap GmbH präsentieren ein neuartiges und innovatives Capture-Studio sowie einen Verarbeitungs-Workflow für hochwertige volumetrische Videoproduktionen für zukünftige VR/AR-Medienproduktionen.
Im Juni 2018 wurde im Filmpark Potsdam-Babelsberg das erste volumetrische Videostudio auf dem europäischen Festland eröffnet. Reale Personen werden mit mehreren hochauflösenden Kameras in einer professionellen Studioumgebung aufgenommen. Eine leistungsstarke Verarbeitungssuite erzeugt automatisch dynamische 3D-Modelle, die in AR/VR-Anwendungen integriert werden können. Das System unterstützt diffuses oder synchronisiertes szenisches Licht aus jeder Richtung, automatisches Keying und flexible Multi-Kamera-Anordnungen.
