Ein Forschungsteam des Heidelberger Instituts für Theoretische Studien (HITS) und des Karlsruher Instituts für Technologie (KIT) hat seit Beginn der Pandemie eine Webplattform zu kurzfristigen Vorhersagen von COVID-19-Fällen und -Todesfällen in Deutschland und Polen aufgebaut. Dort führen die Forscherinnen und Forscher Prognosen verschiedener Modellierungsteams zusammen. Jetzt haben sie ihre Erkenntnisse aus einer systematischen Evaluierung im Open-Access-Fachjournal „Nature Communications“ veröffentlicht. Das Ergebnis: Die Kombination verschiedener Modelle führt zu besseren Vorhersagen, auch wenn Prognosen zu COVID-19 grundsätzlich schwierig bleiben.
Manchmal ergibt sich ein besseres Gesamtbild einer Situation, wenn unterschiedliche Ansätze kombiniert werden. Wissenschaftlerinnen und Wissenschaftler des German-Polish COVID-19 Forecast Hub haben diese Herangehensweise gewählt, um Stärken und Schwächen verschiedener COVID-19 Vorhersagemodelle herauszuarbeiten und daraus in Kombination sogenannte Ensemble-Vorhersagen zu bilden, die die Prognosen gegenüber Einzelmodellen verbessern.
Der Forecast-Hub ermöglicht einen transparenten und fairen Vergleich der Modelle
"Unsere Vergleichsplattform für verschiedene Modelle und der regelmäßige Austausch zwischen den einzelnen Modellierungsteams hilft, nicht nur einzelne Modelle, sondern auch die kombinierte Gesamtvorhersage systematisch zu verbessern", sagt Melanie Schienle, Professorin für Statistik und Ökonometrie am KIT und derzeit Gastwissenschaftlerin am HITS. Gemeinsam mit Tilmann Gneiting von der HITS-Gruppe Computational Statistics leitet sie das Projektteam. Der Forecast Hub verfolgt einen „Open-Science“-Ansatz: Er wertet Prognosen aus und sichert die gesamte Historie der Modellergebnisse. "Wenn man Modelle im Rückblick anwendet, sehen sie oft etwas besser aus, als sie sind, und diesen Fallstrick wollten wir vermeiden", fügt Johannes Bracher (HITS und KIT), der Erstautor der Studie, hinzu. "Wir haben die Regeln für den Vergleich im Voraus öffentlich festgelegt, ähnlich wie bei pharmazeutischen oder medizinischen Studien."
Ensemble-Prognosen sind mehr als die Summe der Einzelmodelle und schneiden besser ab
Der Untersuchungszeitraum, über den das Team in „Nature Communications“ berichtet, umfasst den Beginn der zweiten Welle in Deutschland und Polen vom 12. Oktober bis zum 19. Dezember 2020. Dieser Zeitraum ist durch eine Verschärfung der nicht-pharmazeutischen Maßnahmen gekennzeichnet, die in der Folge zu einem Rückgang der Fälle in Polen und zu einem Plateau und einem erneuten Anstieg der Fälle in Deutschland führte. Dreizehn unabhängige Modellierungsgruppen lieferten probabilistische Echtzeit-Vorhersagen von COVID-19-Fällen und Todesfällen für Vorlaufzeiten von einer bis vier Wochen. Insgesamt zeigten die Ensemble-Vorhersagen eine gute relative Performance - insbesondere in Bezug auf die Quantifizierung der Unsicherheit - und schnitten in der Regel ähnlich gut ab wie die besten Einzelmodell-Vorhersagen. Außerdem schwankte ihre Leistung in den verschiedenen Wochen weniger stark.
"Wir sehen also eindeutig den Vorteil dieses kollaborativen Ansatzes, der eine verbesserte Stabilität bietet", sagt Johannes Bracher. "Es ist wie bei dem berühmten Aristoteles-Zitat: 'Das Ganze ist mehr als die Summe seiner Teile.'"
Bei Vorhersagen ist deren Unsicherheit entscheidend für die Bewertung
Die Auswertungen zeigen darüber hinaus, dass die Vorhersage von COVID-19 nach wie vor sehr schwierig ist und auch die Ensemble-Vorhersage manchmal daneben liegen kann. "Insgesamt waren die Vorhersagen der unterschiedlichen Modelle sehr heterogen – sie stimmten oft nicht darin überein, was als nächstes passieren würde", fügt Melanie Schienle hinzu. "Wenn wir jedoch die verschiedenen Vorhersagen zusammen betrachten, können wir den Grad der Unsicherheit realistischer einschätzen und dadurch ein besseres Verständnis für die Situation gewinnen."
Der German-Polish COVID-19 Forecast Hub wurde durch den US-amerikanischen COVID-19 Forecast Hub inspiriert, an dem Johannes Bracher und Tilmann Gneiting von Anfang an aktiv beteiligt waren. Seit März 2021wird der deutsch-polnische Hub schrittweise in eine neue europäische Plattform - den European Covid-19 Forecast Hub - integriert, die vom European Centre for Disease Prevention and Control und der London School of Hygiene and Tropical Medicine betrieben wird.
Die Studie wurde im Fachjournal "Nature Communications" veröffentlicht und in die "Editors´ Highlights" von "Nature Communications" aufgenommen.
Publikation:
Bracher, J., Wolffram, D., Deuschel, J. et al. A pre-registered short-term forecasting study of COVID-19 in Germany and Poland during the second wave. Nat Commun 12, 5173 (2021). https://doi.org/10.1038/s41467-021-25207-0
Wissenschaftlicher Kontakt
Dr. Johannes Bracher
Chair of Statistics and Econometrics am KIT
Computational Statistics Group am HITS
johannes bracher@kit edu
Prof. Dr. Melanie Schienle
Chair of Statistics and Econometrics, department of Economics and Management, KIT
melanie schienle@kit edu
Medienkontakt:
Dr. Peter Saueressig
Head of Communications
Heidelberger Institut für Theoretische Studien (HITS)
E-Mail: peter.saueressig@h-its.org
Sandra Wiebe
Strategische Entwicklung und Kommunikation (SEK)
Karlsruher Institut für Technologie (KIT)
E-Mail: sandra.wiebe@kit.edu
www.kit.edu
Manchmal ergibt sich ein besseres Gesamtbild einer Situation, wenn unterschiedliche Ansätze kombiniert werden. Wissenschaftlerinnen und Wissenschaftler des German-Polish COVID-19 Forecast Hub haben diese Herangehensweise gewählt, um Stärken und Schwächen verschiedener COVID-19 Vorhersagemodelle herauszuarbeiten und daraus in Kombination sogenannte Ensemble-Vorhersagen zu bilden, die die Prognosen gegenüber Einzelmodellen verbessern.
Der Forecast-Hub ermöglicht einen transparenten und fairen Vergleich der Modelle
"Unsere Vergleichsplattform für verschiedene Modelle und der regelmäßige Austausch zwischen den einzelnen Modellierungsteams hilft, nicht nur einzelne Modelle, sondern auch die kombinierte Gesamtvorhersage systematisch zu verbessern", sagt Melanie Schienle, Professorin für Statistik und Ökonometrie am KIT und derzeit Gastwissenschaftlerin am HITS. Gemeinsam mit Tilmann Gneiting von der HITS-Gruppe Computational Statistics leitet sie das Projektteam. Der Forecast Hub verfolgt einen „Open-Science“-Ansatz: Er wertet Prognosen aus und sichert die gesamte Historie der Modellergebnisse. "Wenn man Modelle im Rückblick anwendet, sehen sie oft etwas besser aus, als sie sind, und diesen Fallstrick wollten wir vermeiden", fügt Johannes Bracher (HITS und KIT), der Erstautor der Studie, hinzu. "Wir haben die Regeln für den Vergleich im Voraus öffentlich festgelegt, ähnlich wie bei pharmazeutischen oder medizinischen Studien."
Ensemble-Prognosen sind mehr als die Summe der Einzelmodelle und schneiden besser ab
Der Untersuchungszeitraum, über den das Team in „Nature Communications“ berichtet, umfasst den Beginn der zweiten Welle in Deutschland und Polen vom 12. Oktober bis zum 19. Dezember 2020. Dieser Zeitraum ist durch eine Verschärfung der nicht-pharmazeutischen Maßnahmen gekennzeichnet, die in der Folge zu einem Rückgang der Fälle in Polen und zu einem Plateau und einem erneuten Anstieg der Fälle in Deutschland führte. Dreizehn unabhängige Modellierungsgruppen lieferten probabilistische Echtzeit-Vorhersagen von COVID-19-Fällen und Todesfällen für Vorlaufzeiten von einer bis vier Wochen. Insgesamt zeigten die Ensemble-Vorhersagen eine gute relative Performance - insbesondere in Bezug auf die Quantifizierung der Unsicherheit - und schnitten in der Regel ähnlich gut ab wie die besten Einzelmodell-Vorhersagen. Außerdem schwankte ihre Leistung in den verschiedenen Wochen weniger stark.
"Wir sehen also eindeutig den Vorteil dieses kollaborativen Ansatzes, der eine verbesserte Stabilität bietet", sagt Johannes Bracher. "Es ist wie bei dem berühmten Aristoteles-Zitat: 'Das Ganze ist mehr als die Summe seiner Teile.'"
Bei Vorhersagen ist deren Unsicherheit entscheidend für die Bewertung
Die Auswertungen zeigen darüber hinaus, dass die Vorhersage von COVID-19 nach wie vor sehr schwierig ist und auch die Ensemble-Vorhersage manchmal daneben liegen kann. "Insgesamt waren die Vorhersagen der unterschiedlichen Modelle sehr heterogen – sie stimmten oft nicht darin überein, was als nächstes passieren würde", fügt Melanie Schienle hinzu. "Wenn wir jedoch die verschiedenen Vorhersagen zusammen betrachten, können wir den Grad der Unsicherheit realistischer einschätzen und dadurch ein besseres Verständnis für die Situation gewinnen."
Der German-Polish COVID-19 Forecast Hub wurde durch den US-amerikanischen COVID-19 Forecast Hub inspiriert, an dem Johannes Bracher und Tilmann Gneiting von Anfang an aktiv beteiligt waren. Seit März 2021wird der deutsch-polnische Hub schrittweise in eine neue europäische Plattform - den European Covid-19 Forecast Hub - integriert, die vom European Centre for Disease Prevention and Control und der London School of Hygiene and Tropical Medicine betrieben wird.
Die Studie wurde im Fachjournal "Nature Communications" veröffentlicht und in die "Editors´ Highlights" von "Nature Communications" aufgenommen.
Publikation:
Bracher, J., Wolffram, D., Deuschel, J. et al. A pre-registered short-term forecasting study of COVID-19 in Germany and Poland during the second wave. Nat Commun 12, 5173 (2021). https://doi.org/10.1038/s41467-021-25207-0
Wissenschaftlicher Kontakt
Dr. Johannes Bracher
Chair of Statistics and Econometrics am KIT
Computational Statistics Group am HITS
johannes bracher@kit edu
Prof. Dr. Melanie Schienle
Chair of Statistics and Econometrics, department of Economics and Management, KIT
melanie schienle@kit edu
Medienkontakt:
Dr. Peter Saueressig
Head of Communications
Heidelberger Institut für Theoretische Studien (HITS)
E-Mail: peter.saueressig@h-its.org
Sandra Wiebe
Strategische Entwicklung und Kommunikation (SEK)
Karlsruher Institut für Technologie (KIT)
E-Mail: sandra.wiebe@kit.edu
www.kit.edu
