26.02.2015

Am 1. Juli 2015 hat die erste Ausbaustufe des neuen Hochleistungsrechnersystems für die Erdsystemforschung (HLRE-3), Mistral, den Regelbetrieb aufgenommen. Es besteht aus Rechnerkomponenten von Bull, einem Festplattensystem von Xyratex/Seagate sowie einer Hochleistungsvernetzung von Mellanox. Diese Komponenten sind auf 41 zum Teil tonnenschwere, telefonzellengroße Schränke verteilt, die mit Bündeln von Glasfaserleitungen verbunden sind.

Die insgesamt etwa 1.500 Rechnerknoten auf der Basis von bullx B700 DLC Systemen mit je zwei Intel 12-Kern-Haswell-Prozessoren (zusammen ca. 36.000 Prozessorkerne) erreichen eine Spitzenrechenleistung von 1,4 PetaFLOPS und damit etwa eine Zunahme um den Faktor neun gegenüber der IBM Power6. In der Top500-Liste der schnellsten Rechner der Welt vom Juli 2015 liegt Mistral auf Platz 56. Um die besonders datenintensiven Anforderungen der Klimamodellierer zu erfüllen, unterscheidet sich das System von den meisten anderen durch einen besonders großen und leistungsfähigen Festplattenspeicher - eine Größe, die allerdings nicht in die Top500-Bewertung eingeht.

Der Hauptspeicher des Systems wächst fast um den Faktor sechs auf insgesamt 120 Terabyte und das neue, Lustre-basierte parallele Dateisystem wird mit zunächst 20 Petabyte mehr als dreimal so viel Speicherplatz bieten wie das der Blizzard. Zusätzlich zu den reinen Rechenknoten verfügt die erste HLRE-3 Ausbaustufe über zwölf integrierte Visualisierungsknoten mit NVidia Tesla K80 GPUs sowie etwa fünfzig weitere Knoten für die interaktive Nutzung z.B. bei der Auswertung der Simulationsergebnisse.

Eine Besonderheit der neuen Bull-Systeme ist die direkte Kühlung von Prozessoren und Hauptspeichermodulen innerhalb der Knoten durch die besonders energieeffiziente Warmwasser-Technologie. Der Aufwand und die Kosten für die Klimatisierung des Rechenzentrums können hierdurch im Vergleich zu herkömmlichen Kühlsystemen drastisch reduziert werden.

HLRE-3, Installation der ersten Ausbaustufe

Die zweite Ausbaustufe soll ab Sommer 2016 zur Verfügung stehen. Rechenleistung und Speicherplatz werden  damit nochmals mehr als verdoppelt. Mit einer Rechenleistung von 3 PetaFLOPS  und einem 50 Petabyte großem parallelen Dateisystem können dann etwa regional höher aufgelöste Klimasimulationen durchgeführt und ausgewertet werden, mehr Prozesse in Erdsystemmodellen berücksichtigt werden oder die Unsicherheiten in Klimaprojektionen reduziert werden.

HLRE-3 VerkabelungFür das Gesamtprojekt, welches neben einer erheblichen Aufrüstung des Datenarchivsystems und umfangreichen Ergänzungen und Anpassungen der Infrastruktur ebenfalls eine Forschungskooperation mit Bull zur Entwicklung effizienterer Rechenalgorithmen für die Klimaforschung umfasst, stehen 41 Millionen Euro zur Verfügung, die zu zwei Dritteln vom Bundesministerium für Bildung und Forschung und zu einem Drittel von der Helmholtz-Gemeinschaft Deutscher Forschungszentren (HGF) finanziert werden. Die Finanzmittel werden dem DKRZ dabei über das Helmholtz-Zentrum Geesthacht – Zentrum für Material- und Küstenforschung (HZG) zur Verfügung gestellt.

 

HLRE-3_Storage@workDas HLRE-3-System (hier links im Bild die Festplattensysteme) ist seit dem 1.7.2015 zur allgemeinen Nutzung freigegeben.

 

Aktuelle Informationen zur Migration von HLRE-II zu HLRE-3 für unsere Nutzer finden sich jeweils hier im Nutzerportal.

 

 

Mistral Nodes running

Save-the-Date für offizielle Rechnereinweihung: Das DKRZ möchte gemeinsam mit seinen Nutzern, Partnern und
Kollegen am 5. Oktober 2015 seinen neuen Hochleistungsrechner "Mistral" offiziell einweihen.
Am Nachmittag und am 6.10. vormittags schließt sich ein wissenschaftlicher Workshop an, in dem Nutzer aktuelle Arbeiten vorstellen und erste Erfahrungen mit dem neuen System austauschen können. Schließlich werden in
einer Schulung am 6.10. nachmittags und 7.10. vormittags praktische Informationen zur  Nutzung des neuen Systems vermittelt. Mistral Phase 1Save-the-Date-Karte als pdf zum Download.

 

Pressemitteilungen:

Pressemitteilung vom 27. Februar 2015 zum Start der Installation des HLRE-3 als pdf zum Download.

Pressemitteilung vom 8.Mai 2015 zur 1. Ausbaustufe des neuen Archivsystems als pdf zum Download.

 

Pressemitteilung vom 13. July 2015 zur Inbetriebnahme von Mistral als pdf zum Download.