Anwendungen

Jeder Zuwachs an Rechenleistung ermöglicht noch tiefere bzw. detaillierte Einblicke in das Klimasystem. Mit dem Zuwachs an Rechenleistung, Hauptspeicher und Speicherkapazität können Forscherinnen und Forscher auf dem DKRZ-System nun Simulationen mit noch höher aufgelösten globalen Klima- und Erdsystemmodellen als bisher durchführen. Solche Modelle erlauben eine rein physikalische Darstellung wichtiger kleinräumiger Klimaprozesse, während diese in den bisher eingesetzten, wesentlich gröberen globalen Modellen parametrisiert werden müssen. Ein Beispiel dafür ist die nun mögliche explizite Darstellung von Wolken und Niederschlag (siehe Abbildung 1) in den neuen Modellen. Weiterhin können so ebenfalls kleinräumige Wechselwirkungen zwischen Atmosphäre, Ozean und den weiteren Teilen des Systems Erde berücksichtigt werden.

Simulierte Wolken. Links: MPI-ESM HR (80km), rechts: ICON R2B10 (2,5km)

Abbildung 1: Wolken an einem Februartag in Simulationen mit der bei CMIP6-Simulationen (hier: MPI-ESM HR) verbreiteten Auflösung von ca. 80 km (links) und in der mit Hilfe von ESiWACE ermöglichten Auflösung von 2,5 km (hier: ICON R2B10, rechts). Das CMIP6-Modell erfasst zwar großräumige Wolkenformation in der Karibik, die hochauflösende ICON-Simulation stellt aber zusätzlich auch die Details der Wolkenstrukturen und damit das Verhalten verschiedener Wolkentypen dar. Mit der wesentlich detailreicheren Darstellung der atmosphärischen Zirkulation werden drastisch verbesserte Klimavorhersagen erwartet, sobald hinreichend lange Zeiträume simuliert werden können. Die Wettersituation beider Simulationen unterscheiden sich, da die Modelle mit unterschiedlichen Startdaten initialisiert wurden. (Abbildung: Florian Ziemen, DKRZ)

Neben vielen anderen neuen Anwendungen mit verschiedenen Modellen und -auflösungen wird nun das Ziel erreichbar, mit den oben beschrieben hochaufgelösten Modellen mögliche Klimaänderungen für den Verlauf dieses Jahrhunderts zu projizieren und für verschiedene Szenarien zu untersuchen. Bisher waren Simulationen mit solchen hochauflösenden Klimamodellen nur für sehr kurze Zeiträume von wenigen Monaten möglich. Längere Simulationszeiträume erfordern deutlich mehr Rechenzeit und Speichervolumen – welche das DKRZ nun durch Levante zur Verfügung stellen kann.

Technische Spezifikationen von Levante

Levante basiert auf der BullSequana XH2000-Technologie der Firma Atos. Die CPU-Partition umfasst 2.832 Rechnerknoten mit jeweils zwei Prozessoren, die zusammen eine Spitzenrechenleistung von 14 PetaFLOPS liefern. Das sind 14 Billiarden mathematische Operationen pro Sekunde. Das System ist mit der dritten Generation von Prozessoren des Typs AMD EPYC ausgestattet, die jeweils über 64 Prozessorkerne verfügen. Der gesamte Hauptspeicher des Systems umfasst mehr als 800 Terabyte; das entspricht dem Hauptspeicher von etwa 100.000 Laptops. Um unterschiedliche Anforderungsklassen abzudecken, verfügen die Einzelsysteme, aus denen der Supercomputer zusammengesetzt ist, über Hauptspeichergrößen zwischen 256 und 1.024 Gigabyte.

HLRE-4 "Levante"

Abbildung 2: Der Supercomputer "Levante" besteht aus ca. 2900 vernetzten Computern.

Zusätzlich zu den klassischen Prozessoren erhält Levante im Sommer eine Partition mit 60 GPU-Knoten, die gemeinsam eine Spitzenrechenleistung von 2,8 PetaFLOPS haben. Jeder GPU-Knoten ist mit zwei AMD-EPYC-Prozessoren sowie vier NVIDIA-A100-Grafikprozessoren (GPUs) ausgestattet, wobei 56 GPU-Knoten über GPUs mit 80 Gigabyte, und vier Knoten über GPUs mit 40 Gigabyte Grafikspeicher verfügen.

Diese zunehmend heterogene Hardware-Architektur stellt die wissenschaftliche Software-Entwicklung vor sehr große Herausforderungen. Das DKRZ wird seine Nutzerinnen und Nutzer darin unterstützen, ihre Arbeitsmethoden (z.B. die Portierung von Programmcodes oder der Einsatz Künstlicher Intelligenz) so anzupassen, dass sie diese Entwicklung im Bereich des Hochleistungsrechnens nutzen können.

HLRE-4 "Levante", im Vordergrund das 130 PByte umfassende Speichersystem

Zur Datenübertragung zwischen den Rechnerknoten und den Speicherkomponenten nutzt Levante NVIDIA–Mellanox-InfiniBand-HDR-200G-Technologie, mit der eine Datenübertragungsrate von bis zu 200 GBit/s erzielt werden kann.

Für die Speicherung der berechneten Simulationsergebnisse ist Levante mit einem etwa 130 Petabyte großen Speichersystem der Firma DDN ausgerüstet. Damit steht nun mehr als das Doppelte des bisherigen Speicherplatzes zur Verfügung. Im Vergleich zu einem herkömmlichen Laptop mit 1 Terabyte Festplattenplatz erreicht der Supercomputer etwa das 130.000-fache von dessen Speicherkapazität.

Das Vorgängersystem Mistral (HLRE-3), ebenfalls ein Supercomputer von Atos, wurde 2015 in Betrieb genommen und hat dazu beigetragen, den international exzellenten Ruf der deutschen Klimaforschung zu festigen und weiter auszubauen. So wurde beispielsweise der überwiegende Teil der deutschen CMIP6-Simulationen, die im Hinblick auf den neuen, sechsten Weltklimastatusbericht durchgeführt wurden, auf Mistral gerechnet. Nach einer etwa dreimonatigen Übergangsphase, in der beide System parallel betrieben werden, um Anwendungen und Daten auf das neue System zu übertragen, wird Mistral in den verdienten Ruhestand geschickt.

Finanzierung

Die Bereitstellung der Mittel erfolgt auf der Basis des im November 2017 geschlossenen Finanzierungsabkommens zwischen der Helmholtz-Gemeinschaft, der Max-Planck-Gesellschaft und der Freien und Hansestadt Hamburg. Insgesamt steht für das Projekt HLRE-4 ein Betrag von 45 Millionen Euro bereit.

Weitere Informationen

Keywords
Klima