Bereiche
Sie sind hier: Startseite Climate Data Data Services Long-term Archiving Archiving concept Langzeit Datenspeicherung am DKRZ

Langzeit Datenspeicherung am DKRZ

Mitwirkende: ramthun

Langzeit Datenspeicherung am DKRZ - Uebersicht

Das Deutsche Klimarechenzentrum GmbH (DKRZ) bietet eine Langzeitspeicherung für Datensätze an, die im Rahmen von wissenschaftlichen Projekten erzeugt wurden und für Zeiträume über 2 Jahre hinaus gespeichert und zugänglich gemacht werden sollen. Dazu stehen 2 Petabyte Speicherkapazität jährlich auf dem HPSS (High Performance Storage System) Data Archive zur Verfügung. Die Daten können mit einer zusätzlichen Sicherungskopie gespeichert werden.

Dieser Service steht sowohl den Nutzern des DKRZ (für die Speicherung von Projektdaten, die länger als 2 Jahre nach Projektende gespeichert werden sollen) als auch externen Gruppen zur Verfügung, die projektbezogene Daten für lange Zeiträume (> 10 Jahre) speichern und zugänglich machen müssen. Die Langfrist-Datenspeicherung ist für externe Nutzer kostenpflichtig.

TapeLibrary des DKRZ

Die Speicherung ist an Voraussetzungen geknüpft:

  • Zuweisung eines Speicherplatzkontingents (Beantragung/Bewilligung von CPU -Zeit und Speicherplatz durch das DKRZ)
  • Aufbereitung der Datensätze in einer Form, die eine direkte Speicherung und späteren Zugriff auf die Datensätze über das CERA Datenportal (bzw. über das Commandline-Tool jblob) erlaubt
  • Verfügbarkeit einer Beschreibung für das Projekt, die Experimente und die Datensätze im (xml-) Format des CERA2-Datenmodells.
  • Eine Vereinbarung über die Zugriffsberechtigung auf die Datensätze (entsprechend der Regeln des WDC-Climate)
  • Benennung eines Ansprechpartners (Speicherung, Zugriffe, Inhaltliche Fragen)   . . .

Die Beschreibung der Daten (Metadaten) wird in der CERA - Datenbank der DKRZ abgelegt und ist über das Internet öffentlich zugänglich.

Die Gruppe „Daten Management (DM)“ (früher Modelle&Daten) betreut die Daten und stellt Tools zur Verfügung, um die Beschreibung der Daten in einer CERA konformen Form zu erstellen. 'DM' unterstützt und berät die Kunden bei der Erstellung der Metadaten.

Das CERA MetaData Modell erlaubt eine ausführliche Dokumentation der Experimente und Datensätze, um eine effiziente Nutzung zu ermöglichen. Diese Informationen sind im Internet frei zugänglich. Der Daten-Download erfordert dagegen einen CERA-User Account der auch eine Zugriffskontrolle bzw. eine Zugriffsbeschränkung einschließt.

Die Daten sollten im Rahmen des WDC-Climate abgelegt werden. Ihre Verteilung erfolgt nach den Regeln des WDC-Climate (Rules of the WDC-Climate).

Es besteht die Möglichkeit, die Daten mit einem DOI (Digital Object Identifier) versehen zu lassen.

 

Das CERA MetaData Modell erlaubt eine ausführliche Beschreibung des Projektes, der Experimente und der einzelnen Datensätze. Diese Informationen sind über das Internet frei zugänglich und können sowohl zur Auswahl als auch zur Nutzung der Datensätze verwendet werden. Für einen Download von Daten ist ein User-Login (Datenbank-Login) erforderlich. Der dazu erforderliche Account wird auf Antrag kostenfrei vergeben.

Der Zugriff über die CERA-Datenbank ermöglicht die Erstellung von Zugriffsstatistiken und die Herstellung von Kontakten zu den Nutzern der Daten beispielsweise für den Fall, dass Informationen/Korrekturen zu den Daten vom Kunden (Datenproduzenten) weitergegeben werden sollen.

Metadaten-Unterface des Geonnetwork

 

Die Langzeit-Speicherung von Daten am DKRZ erfordert die folgenden Arbeitsschritte:

  • Erstellung eines Speicherkonzeptes (Daten Struktur/-Organisation, Speicherstrategie, Zugriffsrechte, Anforderung von Ressourcen) mit Kostenvoranschlag
  • Erzeugung der Metadaten in einem vorgegebenen Format, Tool: Online Editor ‚Link!!’ (Beschreibung: ‚Link!!’)
  • Aufbereiten der Datensätze
  • Einfüllen der Metadaten in die Datenbank (durch DKRZ Daten Management)
  • Einfüllen der Daten in das Archiv (durch DKRZ Daten Management)
  • Qualitätskontrolle Metadaten/Datensätze (Konsistenz, Vollständigkeit)
  • Optional bei entsprechenden Vorraussetzungen: Vergabe eines DOI (Digital Object Identifier) für die Daten
  • Pflege der Daten und Metadaten und Unterstützung der Nutzer

 

Gebühren:

Für die Langzeit-Speicherung von Daten am DKRZ entstehen Kosten für:

  1. Erstellung der Metadaten in der CERA - Datenbank und Speicherung der Daten im Archiv (Personalkosten)
  2. Kosten für Medien (Magnetbänder, mehrere Generationen innerhalb von 10 Jahren)
  3. Betriebskosten für das HPS-System und den Betrieb der Datenbank und des Internetzuganges

 

Im Rahmen der Planung der Datenspeicherung wird ein Kostenvoranschlag erstellt, der die einzelnen Kosten auflistet.

Ein Beispiel für einen Kostenvoranschlag für die Speicherung von Projektdaten ist hier zu finden.

 

 



 * "CERA metadata input documentation: http://mud.dkrz.de/www.mad.zmaw.de/wdc-for-climate/cera-database/insert-metadata/index.html

 

 * "DKRZ Benutzungsrichtlinien": http://www.dkrz.de/dkrz/services/Benutzungsrichtlinien.pdf
Artikelaktionen