23.05.2024
Die gemeinsam von Anja Gerbes für das Nationale Hochleistungsrechnen (NHR), Dr. Panagiotis Adamidis für das DKRZ und Anna Fuchs sowie Dr. Jannek Squar für die Universität Hamburg organisierte und durchgeführte Veranstaltung zielte darauf, Schlüsselfragen bei der Handhabung riesiger Datensätze, wie sie bei hochaufgelösten Klimasimulationen entstehen, zu adressieren.
Die Vortragenden präsentierten verschiedene Aspekte von I/O und identifizierten Probleme sowie mögliche Lösungsansätze. Dies wird besonders benötigt werden in Hinblick auf zukünftige Wetter-/Klimasimulationen mit einer globalen Auflösung von 1 km, die einerseits extrem hohe Rechenleistung, aber andererseits auch hohe Ansprüche an I/O-Systeme erfordern werden.
Die Diskussionen konzentrierten sich auf effiziente Methoden für paralleles I/O auf großen parallelen Dateisystemen. Zu den Hauptthemen gehörten verlustfreie Komprimierung und Chunking, die Auswahl geeigneter Datenformate wie HDF5, netCDF und Zarr sowie Optimierungsstrategien für I/O in Klimamodellen. Die Teilnehmenden befassten sich auch mit der Nachbearbeitung großer Datensätze, der Überwachung von Anwendungs-/Dateisysteminteraktionen und diskutierten über Objektspeicher, wobei ein besonderer Schwerpunkt auf der Verkürzung der Zeit bis zur Lösung lag.
Der Workshop endete mit einem positiven Fazit: Die Teilnehmer:innen einigten sich auf mehrere vielversprechende Ansätze zur Verbesserung der aktuellen I/O-Hochleistungsrechnerumgebung und ebnen so den Weg für effizientere Klimasimulationen in der Zukunft.
Die Workshop-Folien sind verfügbar unter: https://events.dkrz.de/event/62/