Neben eher theoretischen Verständnislücken, die sich auf die physikalischen Vorgänge beziehen, haben bisher vor allem begrenzte Computerkapazitäten eine angemessene Darstellung von Wolken und Niederschlägen in Klimamodellen eingeschränkt. Die Skalen, auf denen diese Prozesse ablaufen, umfassen eine Bandbreite vom Mikrometerbereich (z.B. Kondensationskeime) bis hin zu Hunderten von Kilometern, wenn es etwa um die Darstellung von Frontensystemen geht. Um dennoch den Einfluss aller Skalen in den Simulationen berücksichtigen zu können, werden kleinskalige Prozesse durch Annahmen und Näherungen an die beobachtete Realität nach bestem Wissen angenähert, d.h. sie werden parametrisiert. Leider stellen einige dieser Annäherungen einen Großteil der Unsicherheiten der derzeitigen Klimamodellgeneration dar – die in der Folge wiederum zu Unsicherheiten bei Projektionen möglicher Zukünfte der Erde führen. Besonders die Parametrisierungen von Konvektion und Niederschlag, die Prozesse einer Größenordnung zwischen wenigen hundert Metern und einigen Kilometern vereinfacht darstellen, sind wenig verstanden und unzureichend umgesetzt.

Dieses Problem adressiert nun HD(CP)² durch enge Zusammenarbeit von Simulations-, Beobachtungs- und Computerwissenschaften unter Verwendung von Hochleistungsrechnern.

HD(CP)² steht dabei für High Definition Cloud and Precipitation for Advancing Climate Prediction und verfolgt die folgenden übergeordneten Ziele:

  • Die Verbesserung von Klimavorhersagen durch bessere Repräsentation von Wolkenbildung und Niederschlagsentwicklung in modernen Klimamodellen.
  • Die Quantifizierung und Reduzierung der Modellunsicherheit durch eine Abschätzung des Einflusses der durch diese Prozesse verursachten Modellfehler.

 

Abbildung 1 zeigt einen Schnappschuss der simulierten Wolkenbedeckung in dem über Deutschland zentrierten zentralen Modellgebiet.

HDCP2_Abb2Abb. 1: Mit ICON-LES simulierte Wolkenbedeckung vom 27. April 2013 (Visualisierung: N. Röber, DKRZ)

 

Das Gesamtprojekt HD(CP)2 ist als dreistufiges Projekt konzipiert: In einem ersten Schritt (2012-2015) wurde in drei Modulen die Infrastruktur geschaffen, die für hoch aufgelöste Simulationen und deren Auswertung notwendig ist. In einem zweiten Schritt (2016-2019) werden diese Infrastrukturprojekte jetzt benutzt, um wissenschaftliche Kernfragen in sechs wissenschaftlichen Projekten anzugehen: Wolkenprozesse durch Aerosole, Grenzschichtwolken, Zirruswolken, Landoberflächeneffekte auf Wolken und Niederschlag, Wolken und konvektive Organisation und die Position von Stürmen im wandelnden Klima. Die notwendige Weiterentwicklung der Tools ist in zwei Projekten M (Modellierung) und O (Beobachtungen) zusammengefasst.

Beiträge des DKRZ und wissenschaftliche Anwendungen

Am DKRZ ist die Leitung des Teilprojektes M angesiedelt. In diesem Teilprojekt finden neben Arbeiten zur Parallelisierung und Optimierung des Codes auch die Weiterentwicklung der Modellierungsinfrastruktur und die Visualisierung der enormen Datenmengen statt.

Hochleistungsrechner der neuesten Generation sind massiv parallele Rechenplattformen, die aus mehreren tausenden Rechenkernen mit verteiltem Speicher bestehen. Um in der Lage zu sein, die Leistung solcher Supercomputer möglichst voll auszuschöpfen, muss die vom Simulationsmodell zu leistende Arbeit einschließlich der dazugehörigen Daten auf eine hohe Anzahl von Prozessorkernen verteilt werden. Für das ICON-Modell, auf dem die Modellierungen in HD(CP)2 basieren, bedeutet dies, dass alle globalen Datenstrukturen durch verteilte ersetzt und die entsprechenden Algorithmen parallelisiert werden müssen. Im Rahmen dieses Prozesses hat das DKRZ den ICON-Code bis heute hauptsächlich in dreierlei Hinsicht restrukturiert: Gebietszerlegung des Rechengitters, Implementierung von diversen Kommunikationsmustern basierend auf MPI (Message Passing Interface)  und paralleles Einlesen von NetCDF-Daten.

Das DKRZ betreibt mit dem bullx B700 DLC-System „Mistral“ einen Hochleistungsrechner, der in der Lage ist, die Rechenressourcen und die Speicherkapazitäten zur Durchführung von HD(CP)2 zur Verfügung zu stellen.

Die enorme Anforderung an Rechenleistung und Speicherplatz wird durch die Anzahl der zu berechnenden Gitterpunkte verursacht und stellt die besondere technische Herausforderung von HD(CP)2 an die Informatik dar: Soll Deutschland in einer Auflösung von 100 m x 100 m in der Horizontalen dargestellt werden, müssen pro Schicht ca. 22 Millionen Gitterzellen berechnet werden. Um die im Zentrum der Untersuchung stehenden Wolken und Niederschlagsprozesse adäquat darstellen zu können, wird die Atmosphäre vertikal durch 150 Schichten bis hin zu einer Höhe von 21 km repräsentiert, so dass das Modell insgesamt etwa 3,3 Milliarden Gitterzellen umfasst. Um einen Tag der HD(CP)2-Messkampagne als Modellexperiment „nachzusimulieren“ - in sogenannten Hindcasts - werden mehr als 2 Millionen Core-Stunden an Rechenzeit benötigt. Werden vom Hochleistungsrechner „Mistral“ 500 Knoten mit je 24 Rechenkernen verwendet, also einem Drittel  des gesamten Systems, benötigt die Simulation eines Kampagnentages mehr als 7 Tage in Echtzeit. Der Gesamt-Output beträgt,  trotz nur partieller Ausgabe der Daten,  ca. 45 Terabyte pro simuliertem Tag.

Die Entwicklung einer regionalen ICON-Variante mit einer effektiven Gitterlänge von 100 m (ICON-LES) ist abgeschlossen; damit ist zum ersten Mal die Verwendung eines globalen Zirkulationsmodells in einem regionalen Setup mit einer Auflösung möglich, die bisher nur von klassischen LES-Modellen erreicht werden konnte. Die sich dadurch ergebenden Möglichkeiten für ultra-hochaufgelöste Simulationen über Deutschland mit bisher unerreichter physikalischer Realitätstreue werden derzeit durch die Simulation einiger Wochen aus April 2013 realisiert; einer Periode, für die HD(CP)2 auch einen bisher unerreicht hoch aufgelösten Beobachtungsdatensatz zur Verfügung stellen kann.

Im Laufe des Jahres soll das Deutschland-Modellgebiet um weitere Domains weltweit ergänzt werden, um die relevanten Wolken- und Niederschlagsprozesse komplett abzudecken. Gleichzeitig geht die wissenschaftliche Arbeit in Bezug auf die langfristigen Klimaeffekte ab 2016 richtig los: in Experimenten mit variierenden CO2, Aerosol oder Landnutzungsszenarien über Deutschland wird mit Hilfe des hochauflösenden Modells den verschiedenen möglichen Erklärungen für Modellstreuung auf den Grund gegangen.

Die Weiterentwicklung von Online-Auswertung  und Diagnostik-Werkzeugen in Zusammenarbeit mit Universitäten und dem DLR-Oberpfaffenhofen spielt eine große Rolle in der Zukunft von Simulationen, deren Ergebnisdaten zu umfangreich sind, um komplett gespeichert werden zu können.

HDCP2_Abb2

Abb. 2: Mit ICON-LES simulierte Windgeschwindigkeit und einzelne Strömungslinien in der Nähe der Alpen (Visualisierung: N. Röber, DKRZ)

 

Erfolge der Restrukturierung von ICON

Aus der notwendigen Restrukturierung von ICON im Rahmen von HD(CP)2 resultierte ein SPMD-paralleles Programm (Single Program Multiple Data), welches im Stande ist, auf HPC-Architekturen mit sehr vielen Prozessoren effizient zu laufen. Entsprechende Strong-Scaling-Experimente (Skalierungsmessungen mit sehr hohen Prozessorzahlen) im Verlauf der Restrukturierung von ICON wurden vom DKRZ auf dem Blue Gene/Q System "JUQUEEN" durchgeführt. Laufzeitmessungen von ICON-LES mit einer räumlichen Auflösung von 120 m zeigen dort eine sehr gute Skalierbarkeit bis zu 458.752 Rechenkernen (Abbildung 3). Dabei wurde allerdings nur die Zeit, die die parallelen Algorithmen während der Berechnung benötigen, gemessen - nicht aber die Ausgabe der Ergebnisse auf das File-System. Reale Produktionsrechnungen mit ICON-LES einschließlich Ein- und Ausgabe sind auf "JUQUEEN" aufgrund der limitierten Speicherausstattung des Systems nicht möglich. Die ICON-LES Produktionsrechnungen werden auf der "Mistral" am DKRZ durchgeführt, welche seit Juli 2015 zur Verfügung steht. HDCP2_Abb3

Abb. 3: Strong Scaling von ICON mit einer Maschenweite von 120 m auf dem Blue Gene/Q System "JUQUEEN" in verschiedenen Konfigurationen bezüglich Anzahl der MPI-Prozesse pro Knoten und Anzahl der OpenMP-Threads pro MPI-Prozess.

 

Visualisierung einer HD(CP)2-Simulation auf Youtube

Weitere Informationen auf der Webseite des Projekts HD(CP)²: http://hdcp2.zmaw.de

 

Autoren:

Dr. Panogiotis Adamidis, Michael Böttinger, Dr. Kerstin Fieg, Dr. Ksenia Gorges, DKRZ

Dr. Florian Rauser, MPI-M

 

Kontakt:

Dr. Florian Rauser, MPI-M (Projektkoordinator): florian.rauser[at]mpimet.mpg.de

Dr. Panogiotis Adamidis, DKRZ (Programmoptimierungen): adamidis[at]dkrz.de