zuletzt verändert: 01.03.2018 19:18
Sie sind hier: Startseite / DICAD / Teilprojekt 1 (DKRZ) / Daten-Workflows

Daten-Workflows

Abläufe bei der Erzeugung, Formatierung und Publikation von CMIP6-Daten

Die Hauptziele von Teilprojekt-1 (TP1) in CMIP6-DICAD sind die Bereitstellung des deutschen Beitrags zur Datenbasis für den nächsten Sachstandsbericht des Weltklimarats (IPCC/AR6), die Kompetenzbildung zur Datenaufbereitung entsprechend dem CMIP6-Datenstandard, sowie die Erzeugung der Klimaänderungsdaten im Rahmen des von CMIP6 unterstützten ScenarioMIPs.

Somit umfasst der Aufgabenbereich von TP1 große Teile des gesamten Ablaufs der Datenbearbeitung, von der Erzeugung bei der Durchführung von CMIP6-Experimenten, über die konforme Aufbereitung der Daten, Qualitätskontrolle, Datenpublikation im ESGF, bis zur Langzeitarchivierung der Daten mit DataCite DOI-Vergabe. Diese Abläufe werden in der Abbildung gezeigt.

Datenabläufe am DKRZ beginnend mit der Modellintegration bis zur Speicherung der formatierten Daten im Langzeitarchiv einschließlich DataCite-DOI-Zuordnung

Die grau gefärbten Workflowschritte repräsentieren die Konfiguration der ESM-Modelle entsprechend den Vorgaben aus den CMIP6-unterstützten MIPS (bunte Rollen) und die Durchführung der Experimente, sowie Speicherung der Modellrohdaten.

Die Modellergebnisse werden entweder synchron zur Modellintegration diagnostisch aufbereitet (.post) und direkt nach temporärer Speicherung in den ESGF-Datenknoten am DKRZ publiziert. Dieser Ablauf wird als 'operationell' bezeichnet. Optional können die Daten zunächst in ein (Band)Archiv geschrieben, und nach teilweiser oder vollständiger Modellintegration aufbereitet werden. Dies Vorgehen wird als 'interaktiv' bezeichnet. Es wird vermutlich eher bei Experimente zum Tragen kommen, deren Datenformatierung fehlerhaft oder nicht vollständig während des Modelllaufs durchgeführt wurde.
Nach Beendigung der Datenaufbereitung liegen die zu publizierenden Daten zunächst in einem temporären Speicher. Die temporäre Speicherung wird benötigt, um die erforderlichen Qualitätskontrollen vor der ESGF-Publikation durchführen zu können.

Die Workflowschritte beider Optionen, der operationellen und interaktiven Datenaufbereitung, sind blau eingefärbt. Die grünen Workflowschritte repräsentieren den Eingang von Daten in den CMIP-Datenpool als Primärpublikation nach Passieren der Qualitätskontrolle oder als Replikation von Daten aus anderen ESGF-Knoten. Die Replikation von Daten ermöglicht einen ‚single-site‘-Zugriff  auf Daten des CMIP6-Modellensembles. Auf die Daten im Pool kann über die CoG-, IS-ENES-, oder B2Find-Portale, und, nach der Langzeitarchivierung (violette Workflowschritte), auch über die WDCC- und DDC-Portale zugegriffen werden. Mit der Langzeitarchivierung werden Forderungen von Wissenschaftsorganisationen (Max-Planck-Gesellschaft, Deutsche Forschungsgemeinschaft) an Daten, die in Publikationen verwendet werden erfüllt. Sie ist auch Voraussetzung für die Vergabe von Daten-DOIs, mit denen die Datennutzer die Daten referenzieren und die Leistung der Datenproduzenten würdigen können.