Das IT-Projekthaus inovex unterstützt die ProSiebenSat.1 Digital GmbH seit 2012 dabei, für die Analyse des Web Traffic in der Unternehmensgruppe eine komplexe Big-Data-Lösung zu erstellen, zu betreiben und ständig weiterzuentwickeln. Nach fünf Jahren erfolgreicher Zusammenarbeit konnte nun der 100. Sprint des agilen Projektes gefeiert werden.
Der Projektverlauf
ProSiebenSat.1 Digital ist die Multimedia-Tochter der ProSiebenSat.1 Media SE und bündelt das Online- und Video-Geschäft sowie die strategischen Bereiche mit enger Anbindung an das TV-Kerngeschäft (Mobile, Social TV und HbbTV). Zum Portfolio gehören beispielsweise die Websites der Sender wie ProSieben.de, SAT1.de, kabeleins.de und sixx.de sowie die TV Apps aller sieben Sender.
Für die Messung, Steuerung und Optimierung der zahlreichen Online-Plattformen benötigt das Unternehmen detaillierte Datenanalysen des Web Traffic, welche vor allem auf Skalierung ausgelegt sind. Bereits im Jahr 2012 wurde prognostiziert, dass das Datenvolumen jährlich um 300 % wachsen werde. Auch die damals schon sehr heterogenen Datenquellen würden absehbar in ihrer Art und Anzahl deutlich zunehmen. Aus diesen Anforderungen heraus sollte ein Data Warehouse neu konzipiert werden, das Kennzahlen zu Reichweiten und zum Vermarktungserlös von Online-Inhalten ausweisen kann.
Für das von Beginn an langfristig angelegte Projekt suchte ProSiebenSat.1 Digital einen Partner mit tiefer Big-Data-Expertise und vertraute dabei auf inovex. Die Zielsetzung war von Beginn an, ein zentrales Kennzahlen-Reporting mithilfe einer Data-Warehouse-Applikation für die gesamte ProSiebenSat.1-Gruppe aufzubauen und zu installieren.
Als Backend und Analyse-Plattform für die zukünftige crossmediale Big-Data-Plattform wählte ProSiebenSat.1 Digital Apache Hadoop, kombiniert mit einem relationalen Data Warehouse. Aus den anfänglich einzelnen Reports ist inzwischen eine konsolidierte Reporting-Datenbasis entstanden, die aus mehr als 30 Datenquellen (z. B. Social-Media-Portale und Online-Vermarktung) gespeist wird.
Die Rohdaten werden dabei in einem Hadoop Cluster abgelegt und vorverarbeitet, der mehr als 10 Terabyte RAM, 1.400 VCores und mehr als 1 Petabyte Plattenspeicher vorhält. Die aggregierten Daten werden in einer relationalen Datenbank (PostgreSQL) gespeichert und für das Reporting aufbereitet. Inzwischen beinhaltet das Projekt rund 50 ETL-Strecken (im Wesentlichen mit Pentaho Data Integration), die sämtliche Rohdaten aus unterschiedlichen Lieferanten-Systemen tagesaktuell verarbeiten – im Bereich Social Media sogar nahezu in Echtzeit („near realtime“).
Agile Arbeitsweise
Die lange Laufzeit und die zunehmende Zahl an Stakeholdern erforderten von Anfang an ein Projektmanagement, das schnell auf neue Anforderungen reagieren kann. Der Schlüssel für den Projekterfolg lag und liegt in der agilen Arbeitsweise des Projektteams – von Anfang an wurden Arbeitsmethoden nach Scrum angewandt. Kerngedanke von
Scrum ist es, ein großes Projekt nicht von Anfang bis Ende präzise durchzuplanen, sondern in mehreren Inkrementen zu entwickeln. Das Team führt dabei alle erforderlichen Qualitätssicherungs- und Dokumentationsmaßnahmen durch und stellt in regelmäßigen Abständen („Sprints“) einen aktuellen Stand der Software bereit, der lauffähig sein muss. Diese Arbeitsweise ermöglicht ein Höchstmaß an Transparenz. Eine hohe Qualität wird in Scrum-Projekten generell vorausgesetzt, denn Qualität ist nicht verhandelbar.
Das Projektteam bei ProSiebenSat.1 Digital, das über die gesamte Zeit von durchschnittlich vier inovex-Mitarbeitern unterstützt wurde, konnte durch zweiwöchige Sprints den Projektfortschritt in regelmäßigen Abständen überprüfen und sich ändernde Kundenanforderungen flexibel berücksichtigen. Gearbeitet wurde im agilen Sinne remote, Abstimmungen erfolgten über tägliche Videokonferenzen. Zum Sprint-Wechsel (Planung, Review und Retrospektive) fanden persönliche Treffen bei ProSiebenSat.1 Digital statt.
Besonderes Augenmerk lag auch auf der Verzahnung der Softwareentwicklung (Development) mit den Mitarbeitern, die für den Betrieb der Infrastruktur (Operations) zuständig sind. Dieser sogenannte „DevOps“-Gedanke beschreibt im eigentlichen Sinne eine Unternehmenskultur, die – frei von Hierarchien und Silo-Gedanken – eine effektive Zusammenarbeit im Fokus hat mit dem Ziel, stabile, hochwertige Software schnell umzusetzen.
Im Oktober 2017 war es soweit: Das Team feierte gemeinsam den 100. abgeschlossenen Sprint in einem sehr erfolgreichen Projekt, das sich auch zukünftig noch weiterentwickeln wird. Denn während das Projekt sich zunächst auf das Business-Intelligence-Team bei ProSiebenSat.1 Digital beschränkte, profitieren inzwischen dank der skalierbaren Architektur mehr und mehr Fachbereiche und interne Abteilungen der Mediengruppe von den Ergebnissen der Anwendung. Eine Ausweitung der Mandantenfähigkeit auf weitere deutsche Konzern-Töchter wird derzeit vorangetrieben, die geographische Ausweitung auf Österreich wurde bereits umgesetzt.
Der Projektverlauf
ProSiebenSat.1 Digital ist die Multimedia-Tochter der ProSiebenSat.1 Media SE und bündelt das Online- und Video-Geschäft sowie die strategischen Bereiche mit enger Anbindung an das TV-Kerngeschäft (Mobile, Social TV und HbbTV). Zum Portfolio gehören beispielsweise die Websites der Sender wie ProSieben.de, SAT1.de, kabeleins.de und sixx.de sowie die TV Apps aller sieben Sender.
Für die Messung, Steuerung und Optimierung der zahlreichen Online-Plattformen benötigt das Unternehmen detaillierte Datenanalysen des Web Traffic, welche vor allem auf Skalierung ausgelegt sind. Bereits im Jahr 2012 wurde prognostiziert, dass das Datenvolumen jährlich um 300 % wachsen werde. Auch die damals schon sehr heterogenen Datenquellen würden absehbar in ihrer Art und Anzahl deutlich zunehmen. Aus diesen Anforderungen heraus sollte ein Data Warehouse neu konzipiert werden, das Kennzahlen zu Reichweiten und zum Vermarktungserlös von Online-Inhalten ausweisen kann.
Für das von Beginn an langfristig angelegte Projekt suchte ProSiebenSat.1 Digital einen Partner mit tiefer Big-Data-Expertise und vertraute dabei auf inovex. Die Zielsetzung war von Beginn an, ein zentrales Kennzahlen-Reporting mithilfe einer Data-Warehouse-Applikation für die gesamte ProSiebenSat.1-Gruppe aufzubauen und zu installieren.
Als Backend und Analyse-Plattform für die zukünftige crossmediale Big-Data-Plattform wählte ProSiebenSat.1 Digital Apache Hadoop, kombiniert mit einem relationalen Data Warehouse. Aus den anfänglich einzelnen Reports ist inzwischen eine konsolidierte Reporting-Datenbasis entstanden, die aus mehr als 30 Datenquellen (z. B. Social-Media-Portale und Online-Vermarktung) gespeist wird.
Die Rohdaten werden dabei in einem Hadoop Cluster abgelegt und vorverarbeitet, der mehr als 10 Terabyte RAM, 1.400 VCores und mehr als 1 Petabyte Plattenspeicher vorhält. Die aggregierten Daten werden in einer relationalen Datenbank (PostgreSQL) gespeichert und für das Reporting aufbereitet. Inzwischen beinhaltet das Projekt rund 50 ETL-Strecken (im Wesentlichen mit Pentaho Data Integration), die sämtliche Rohdaten aus unterschiedlichen Lieferanten-Systemen tagesaktuell verarbeiten – im Bereich Social Media sogar nahezu in Echtzeit („near realtime“).
Agile Arbeitsweise
Die lange Laufzeit und die zunehmende Zahl an Stakeholdern erforderten von Anfang an ein Projektmanagement, das schnell auf neue Anforderungen reagieren kann. Der Schlüssel für den Projekterfolg lag und liegt in der agilen Arbeitsweise des Projektteams – von Anfang an wurden Arbeitsmethoden nach Scrum angewandt. Kerngedanke von
Scrum ist es, ein großes Projekt nicht von Anfang bis Ende präzise durchzuplanen, sondern in mehreren Inkrementen zu entwickeln. Das Team führt dabei alle erforderlichen Qualitätssicherungs- und Dokumentationsmaßnahmen durch und stellt in regelmäßigen Abständen („Sprints“) einen aktuellen Stand der Software bereit, der lauffähig sein muss. Diese Arbeitsweise ermöglicht ein Höchstmaß an Transparenz. Eine hohe Qualität wird in Scrum-Projekten generell vorausgesetzt, denn Qualität ist nicht verhandelbar.
Das Projektteam bei ProSiebenSat.1 Digital, das über die gesamte Zeit von durchschnittlich vier inovex-Mitarbeitern unterstützt wurde, konnte durch zweiwöchige Sprints den Projektfortschritt in regelmäßigen Abständen überprüfen und sich ändernde Kundenanforderungen flexibel berücksichtigen. Gearbeitet wurde im agilen Sinne remote, Abstimmungen erfolgten über tägliche Videokonferenzen. Zum Sprint-Wechsel (Planung, Review und Retrospektive) fanden persönliche Treffen bei ProSiebenSat.1 Digital statt.
Besonderes Augenmerk lag auch auf der Verzahnung der Softwareentwicklung (Development) mit den Mitarbeitern, die für den Betrieb der Infrastruktur (Operations) zuständig sind. Dieser sogenannte „DevOps“-Gedanke beschreibt im eigentlichen Sinne eine Unternehmenskultur, die – frei von Hierarchien und Silo-Gedanken – eine effektive Zusammenarbeit im Fokus hat mit dem Ziel, stabile, hochwertige Software schnell umzusetzen.
Im Oktober 2017 war es soweit: Das Team feierte gemeinsam den 100. abgeschlossenen Sprint in einem sehr erfolgreichen Projekt, das sich auch zukünftig noch weiterentwickeln wird. Denn während das Projekt sich zunächst auf das Business-Intelligence-Team bei ProSiebenSat.1 Digital beschränkte, profitieren inzwischen dank der skalierbaren Architektur mehr und mehr Fachbereiche und interne Abteilungen der Mediengruppe von den Ergebnissen der Anwendung. Eine Ausweitung der Mandantenfähigkeit auf weitere deutsche Konzern-Töchter wird derzeit vorangetrieben, die geographische Ausweitung auf Österreich wurde bereits umgesetzt.
