You are here: Home / News & Events / News / Data collections for climate research available at DKRZ

Data collections for climate research available at DKRZ

Mar 26, 2020

English version further below.


Für alle seine Nutzer stellt das DKRZ die verfügbaren ERA5-Daten sowie Kerndatensätze aus den bekannten international koordinierten Modellvergleichsprojekten (CMIP, CORDEX etc) auf Festplatten zur Verfügung. Damit entfällt für die DKRZ-Nutzer der Bedarf, diese Daten selbst zu transferieren und vorzuhalten, was schon in den aktuellen Ressourcenanträgen berücksichtigt werden kann.

ERA5-Daten am DKRZ

Für das Reanalyseprojekt ERA5 hat das ECMWF zunächst den Zeitraum ab 1979 bearbeitet. Diese Daten hat das DKRZ bis zur Gegenwart in den letzten Jahren vollständig nach Hamburg übertragen. Es sind insgesamt bislang etwa 690 TB, von denen rund drei Viertel die Werte auf den 137 Modellebenen ausmachen. Der aktuelle Stand der Datenübertragung ist auf
https://modvis.dkrz.de/bm0146/ERA5/statusE5.html
dargestellt, die Daten selbst finden sich auf der mistral.dkrz.de unter /pool/data/ERA5. Zum Abschluss des Projekts wird ein Datenvolumen von etwa 1,3 PBytes von 1950 bis heute erwartet, welches dann auf dem DKRZ-Dateisystem zur Verfügung steht.

Aktuell ist der Datentransfer von Reading zum Erliegen gekommen, weil der Zeitraum von 1950 bis 1978, dessen Fertigstellung für Herbst 2019 angekündigt war, wohl doch noch einige Monate in Anspruch nimmt. Sobald die Daten verfügbar sind, wird das DKRZ mit der Übertragung fortfahren.

Die Daten der vorhergehenden Reanalyse-Projekte des ECMWF (ERA40 und ERA Interim) stehen natürlich weiterhin wie bisher zur Verfügung. Informationen zu ERA-Daten finden sich auf der DKRZ-Website unter (Stand 2020-03-18)
https://www.dkrz.de/up/services/data-management/projects-and-cooperations/era/era.

Da die Nutzungsrechte an den EU-finanzierten ERA5-Daten keinen besonderen Beschränkungen unterliegen, sind keine zusätzlichen Rechte zum Download nötig. Genauso bestehen bei der Weitergabe keine Bedenken, allerdings ist auf die Angabe des vorgegebenen Lizenztextes zu achten, der sich am ECMWF unter
https://apps.ecmwf.int/datasets/licences/copernicus/
findet (Punkt 5.), auf unseren Platten liegt er auch in der README-Datei.

Der DKRZ CMIP Datenpool

Auch wer auf der Suche nach einfach zugreifbaren CMIP-, CORDEX- oder anderen Modellvergleichsprojekt-Datensätzen ist, kann diese leicht am DKRZ finden und effizient bearbeiten. Diese Datensätze werden ebenfalls am DKRZ vorgehalten, werden ständig aktualisiert und den DKRZ-Nutzern über den sogenannten CMIP-Datenpool bereitgestellt. Dabei handelt es sich um einen ca. 2 PBytes großen dedizierten Bereich im Mistral-Dateisystem, welcher ähnlich der ERA5-Datensammlung für alle Nutzer zugänglich ist. Aktuell wird am DKRZ eine große Menge an standardisierten CMIP3/5/6-, CORDEX- und ReKliEs-De-Daten vorgehalten. Weiterführende Informationen sind auf den DKRZ-Seiten zu finden:
https://www.dkrz.de/up/services/data-management/cmip-data-pool

Durch die Bereitstellung dieser Daten über das DKRZ-Dateisystem kann substantiell mehr Zeit auf die eigentliche Analyse der Daten verwendet werden. Die Lizenzen der CMIP Projekte erlauben den uneingeschränkten Zugriff auf die Daten. Eine Quellenangabe ist verpflichtend (CC BY, CC BY-SA, creativecommons.org).  Weitere Information zur Referenzierung der Daten sind auf den DKRZ-Seiten zu finden (siehe oben).

Wenden Sie sich bitte bei Rückfragen zu diesen Datensätzen gerne an [Email protection active, please enable JavaScript.].


DKRZ provides the available ERA5 data as well as core data sets from well-known internationally Coordinated Model Intercomparison Projects (CMIP, CORDEX etc) for easy access and efficient processing on the parallel file system. This eliminates the need for DKRZ users to transfer and store these data collections by themselves - a benefit that might influence your next request for DKRZ resources.

ERA5 data at DKRZ

In the context of the ERA5 reanalysis project, the ECMWF has by now processed the time period from 1979 onwards. In recent years, DKRZ has completely transferred these data to Hamburg. So far, a total of about 690 TB have been transferred, of which about three quarters are accounted for by the parameter values on the 137 model levels. The current state of the ERA5 data transfer can be monitored via
https://modvis.dkrz.de/bm0146/ERA5/statusE5.html .

The data itself can be accessed on mistral.dkrz.de at /pool/data/ERA5. A total data volume of about 1.3 PBytes covering the time period from 1950 to today is expected and will be available on the DKRZ file system.
At present, the data transfer from Reading has come to a standstill because the period from 1950 to 1978, whose completion was announced for autumn 2019, will probably take some more months after all. As soon as the data is available, DKRZ will continue with the transfer.

The data of the previous ECMWF reanalysis projects (ERA40 and ERA Interim) are of course still available as before. Information on the general availability of ERA data can be found on the DKRZ website at (status 2020-03-18)
https://www.dkrz.de/up/services/data-management/projects-and-cooperations/era/era .

The EU-funded ERA5 data are not subject to any particular access restrictions. Similarly, there are no concerns regarding the transfer of the data, however, please make sure that the licence text is provided, which can be obtained from the ECMWF at
https://apps.ecmwf.int/datasets/licences/copernicus/
(item 5). The licence text is also contained in the README file on the DKRZ file system.

The DKRZ CMIP data pool

DKRZ users on the look for easily accessible CMIP, CORDEX or other model comparison project data sets can easily find and efficiently process them at DKRZ. Such data sets are also kept at DKRZ, are constantly updated and made available to DKRZ users via the so-called CMIP data pool. This is a dedicated area on the Mistral file system of approximately 2 PBytes in size which is accessible to all users – very similar to the ERA5 data pool. Currently, DKRZ holds large-volume collections of standardised CMIP3/5/6, CORDEX and ReKliEs-De data. Further information can be found on the DKRZ pages:
https://www.dkrz.de/up/services/data-management/cmip-data-pool .

By providing these data via the DKRZ file system, substantially more time can be spent on the actual analysis of the data and a more efficient use of the limited disk space is achieved by avoiding double data storage. The CMIP licences allow the unrestricited access to the published data. The data source has to be appropriately referenced (CC BY, CC BY-SA, creativecommons.org). Further infomration regarding citation and acknowledgement guidelines are given on the DKRZ webpages (see above).

If you have any questions regarding these data sets, please contact [Email protection active, please enable JavaScript.]

Document Actions

Filed under: