Als Gesellschafter der MEGAL GmbH & Co. KG ist GRTgaz Deutschland Betreiber des durch Süddeutschland verlaufenden MEGAL-Pipelinesystems (MEGAL = Mittel-Europäische Gasleitung). Da das historisch gewachsene Reporting des Unternehmens nicht mehr die Ansprüche in Sachen Performance, Flexibilität und Skalierbarkeit erfüllte, beauftragte GRTgaz Deutschland pmOne mit der Modernisierung der entsprechenden IT-Systeme. Vor allem vor dem Hintergrund der dynamischen Entwicklungen im Gasmarkt galt es, hier eine verlässliche und zukunftsfähige Lösung zu finden.
HERAUSFORDERUNG: Große Datenmenge mit komplexer Logik aus unterschiedlichen Quellsystemen
Die heterogene Datenstruktur aus verschiedenen Systemen mit der komplexen gasmarktspezifischen Datenlogik stellte GRTgaz Deutschland beim Erstellen übersichtlicher, aktueller und zuverlässiger Berichte lange Zeit vor eine Herausforderung. Bisher erfolgte das Reporting ausschließlich über eine direkte Anbindung der Vorsysteme an Power BI, mit zunehmenden Einschränkungen: Berichte waren nur separat pro Vorsystem möglich, die Aktualisierung nahm enorm viel Zeit in Anspruch und aufgrund der Datenmengen-Limitierung von Power BI waren die Betrachtungszeiträume historischer Daten zu begrenzen – denn die Zeitreihen erfassen stundengenau eine sehr große Menge an kommerziellen Daten. Auch Wartung und Pflege der Berichte waren aufgrund ihrer Komplexität kaum mehr zu leisten.
LÖSUNG: Modern DWH entlang von Best Practices
Die Lösung heißt: Modern DWH (Data Warehouse). Neben den Vorteilen eines cloudbasierten Betriebs kann dieses im Gegensatz zu einem klassischen DWH auch unstrukturierte Datenformate wie XML oder JSON unproblematisch speichern und verarbeiten. Zudem werden die Speicher- von den Berechnungsprozessen entkoppelt, was die Skalierung der Infrastruktur für die Verarbeitung großer Datenmengen deutlich effizienter gestaltet. Der Weg dorthin gelang agil in Sprints, um möglichst alle Kundenanforderungen flexibel abzubilden. Ausgangspunkt war ein gemeinsam erarbeitetes Verständnis der zentralen Geschäftsprozesse rund um die Themenfelder Netzmonitoring, verfügbare Pipeline-Kapazitäten und Umsatzreporting.
Auf dieser Grundlage wurde eine Datenarchitektur und ein analyseorientiertes Datenmodell entworfen: Azure Synapse Analytics und Spark-Notebooks für die Implementierung der Datentransformationen sowie -beladungen, Datenspeicherung in einem Data Lake und Datenvisualisierung wie gehabt in Power BI. Die Implementierung des Modern DWH erfolgte durchgängig nach Best Practices. Hierzu gehören beispielsweise metadatenbasierte Ladeprozesse, um neue Tabellen auch ohne Code-Anpassungen verarbeiten zu können. Zudem unterstützte ein Logging während der Datenverarbeitung bei Performanceoptimierung und Fehlerbehebung. Inkrementelle Ladeprozesse, die lediglich geänderte Daten abrufen, tragen weiterhin zur Effizienzsteigerung bei.
Microsoft Azure Synapse
Microsoft Power BI
Ab sofort ermöglicht die neue Architektur die Verknüpfung von Daten aus den verschiedenen Vorsystemen (Single Point of Truth), um übergreifende Analysen durchführen zu können. Zudem werden die Reports deutlich schneller und zuverlässiger aktualisiert. Ein weiterer Vorteil: Es sind keine datenmengenbedingten Limitierungen der Betrachtungszeiträume mehr erforderlich, so dass auch historische kommerzielle Daten Eingang in die Berichte finden. Hinzu kommt eine hohe Skalierbarkeit des Systems, wodurch das Reporting auch bei weiter anwachsenden Datenmengen oder bei der Anbindung weiterer Quellsysteme problemlos nutzbar ist. Last but not least: Wartung und Pflege sind deutlich vereinfacht.
„Mit dem Modern DWH ist uns eine umfassende Datenauswertung dauerhaft möglich. pmOne war ein verlässlicher Partner bei unseren ersten Schritten Richtung DWH – vom Konzept und der Implementierung über die Schulungen bis hin zum Betrieb.“ MACIEJ SUMINSKI, Commercial Operations Team Leader Dispatching | GRTgaz Deutschland
HERAUSFORDERUNG: Große Datenmenge mit komplexer Logik aus unterschiedlichen Quellsystemen
Die heterogene Datenstruktur aus verschiedenen Systemen mit der komplexen gasmarktspezifischen Datenlogik stellte GRTgaz Deutschland beim Erstellen übersichtlicher, aktueller und zuverlässiger Berichte lange Zeit vor eine Herausforderung. Bisher erfolgte das Reporting ausschließlich über eine direkte Anbindung der Vorsysteme an Power BI, mit zunehmenden Einschränkungen: Berichte waren nur separat pro Vorsystem möglich, die Aktualisierung nahm enorm viel Zeit in Anspruch und aufgrund der Datenmengen-Limitierung von Power BI waren die Betrachtungszeiträume historischer Daten zu begrenzen – denn die Zeitreihen erfassen stundengenau eine sehr große Menge an kommerziellen Daten. Auch Wartung und Pflege der Berichte waren aufgrund ihrer Komplexität kaum mehr zu leisten.
LÖSUNG: Modern DWH entlang von Best Practices
Die Lösung heißt: Modern DWH (Data Warehouse). Neben den Vorteilen eines cloudbasierten Betriebs kann dieses im Gegensatz zu einem klassischen DWH auch unstrukturierte Datenformate wie XML oder JSON unproblematisch speichern und verarbeiten. Zudem werden die Speicher- von den Berechnungsprozessen entkoppelt, was die Skalierung der Infrastruktur für die Verarbeitung großer Datenmengen deutlich effizienter gestaltet. Der Weg dorthin gelang agil in Sprints, um möglichst alle Kundenanforderungen flexibel abzubilden. Ausgangspunkt war ein gemeinsam erarbeitetes Verständnis der zentralen Geschäftsprozesse rund um die Themenfelder Netzmonitoring, verfügbare Pipeline-Kapazitäten und Umsatzreporting.
Auf dieser Grundlage wurde eine Datenarchitektur und ein analyseorientiertes Datenmodell entworfen: Azure Synapse Analytics und Spark-Notebooks für die Implementierung der Datentransformationen sowie -beladungen, Datenspeicherung in einem Data Lake und Datenvisualisierung wie gehabt in Power BI. Die Implementierung des Modern DWH erfolgte durchgängig nach Best Practices. Hierzu gehören beispielsweise metadatenbasierte Ladeprozesse, um neue Tabellen auch ohne Code-Anpassungen verarbeiten zu können. Zudem unterstützte ein Logging während der Datenverarbeitung bei Performanceoptimierung und Fehlerbehebung. Inkrementelle Ladeprozesse, die lediglich geänderte Daten abrufen, tragen weiterhin zur Effizienzsteigerung bei.
Microsoft Azure Synapse
Microsoft Power BI
- Single Point of Truth rund um kommerzielle Daten, verfügbare Kapazitäten und erzielte Umsätze
- Vereinfachte Wartung, Pflege und Anbindung weiterer Vorsysteme
- Unlimitierter Datenzugriff für ein umfassendes Reporting sowie effiziente und beliebig skalierbare Prozesse
Ab sofort ermöglicht die neue Architektur die Verknüpfung von Daten aus den verschiedenen Vorsystemen (Single Point of Truth), um übergreifende Analysen durchführen zu können. Zudem werden die Reports deutlich schneller und zuverlässiger aktualisiert. Ein weiterer Vorteil: Es sind keine datenmengenbedingten Limitierungen der Betrachtungszeiträume mehr erforderlich, so dass auch historische kommerzielle Daten Eingang in die Berichte finden. Hinzu kommt eine hohe Skalierbarkeit des Systems, wodurch das Reporting auch bei weiter anwachsenden Datenmengen oder bei der Anbindung weiterer Quellsysteme problemlos nutzbar ist. Last but not least: Wartung und Pflege sind deutlich vereinfacht.
„Mit dem Modern DWH ist uns eine umfassende Datenauswertung dauerhaft möglich. pmOne war ein verlässlicher Partner bei unseren ersten Schritten Richtung DWH – vom Konzept und der Implementierung über die Schulungen bis hin zum Betrieb.“ MACIEJ SUMINSKI, Commercial Operations Team Leader Dispatching | GRTgaz Deutschland
