Leitfaden Metadaten Küstengewässer

Under Construction
Die Modellergebnisse der Küstengewässer lassen sich mit Metadaten so beschreiben, dass sie in Portalen gesucht und gefunden werden können. Außerdem werden ausgesuchte BAW-Publikationen mit direkten Links zu den Metadaten der Modellergebnisse versehen. Der vorliegende Leitfaden erläutert wie in der im Küstenwasserbau der BAW typischen Prozessierungskette die Metadaten erfasst und bereit gestellt werden. Die beschriebene Methode gilt für die Verarbeitung von UGRID-CF-NetCDF-Dateien.

1. Erfassung der Simulations-Metadaten

Die Erfassung setzt in der Prozessierungskette bei der Simulation ein. Das Modellierungsverfahren UnTRIM bestehend aus den nachfolgenden Teilmodellen verarbeitet die Meta-Informationen.

• Hydrodynamik im Paket Utromp2007
• Morphodynamik in SediMorph
• Seegang im k-Modell

Hier sind die fehlenden Metadaten als Umgebungsvariablen zu setzen, die von den drei genannten Teilmodellen ausgelesen werden. Es empfiehlt sich, die in einem Auftrag unveränderlichen Meta-Informationen in einem Shell-Skript zu bündeln. Eine ausführliche Vorlage steht unter
$PROGHOME/bin/dmqs/set_dmqs_template.sh,
ein Beispiel für einen konkreten Auftrag unter
$PROGHOME/bin/dmqs/set_dmqs_psp_B3955.03.06.10000.sh.
Die Shell-Skripte sind von den jeweiligen QSUB-Skripten aus zu rufen. Der Aufruf hat mit Punkt und Leerzeichen zu beginnen:
. $PROGHOME/bin/dmqs/set_dmqs_psp_B3955.03.06.10000.sh
Die folgenden Metadaten sind einmalig im Shell-Skript zu setzen:

• DMQS_PSP
• DMQS_TITLE
• DMQS_SUMMARY
• DMQS_CREATOR_NAME
• DMQS_CREATOR_EMAIL
• DMQS_PUBLISHER_EMAIL
• DMQS_INSTITUTION
• META_NAMING_AUTHORITY
• META_PUBLISHER_NAME
• META_PUBLISHER_URL
• META_REFERENCES

Der Identifikator eines Simulationslaufes wird nicht im auftragsweiten Shell-Skript sondern in der QSUB-Datei eines Laufes explizit gesetzt:

• RUN
  

Weitere Metadaten werden automatisch von den Teilprogrammen Utromp2007, SediMorph und k-Modell erfasst. Dazu gehören insbesondere der Simulationszeitraum und die Abmessungen des Modellgebietes.
Die meisten Metadatenelemente gehen als CF-Attribute in die NetCDF-Datei ein. Hinzu kommen DMQS-Variablen, die mit jedem Prozessierungsschritt automatisch ergänzt werden.

• dmqs_steering: Pfad und Name der Datendatei im Arbeitsverzeichnis
• dmqs_data_path_file: Pfad und Name der Steuerdatei im Arbeitsverzeichnis
• dmqs_method: Name und Version der Methode
• dmqs_execution_start: Datums- und Zeitstempel zu Beginn der Laufzeit
• dmqs_sim_time_step: Rechenzeitschritt der ursprünglichen Simulation
• dmqs: DMQS-Containervariable mit Referenzen auf die anderen DMQS-Variablen.

Dmqs_steering enthält in den hydrodynamischen Ergebnissen einen String mit dem Pfad und dem Namen der Steuerdatei des Hydrodynamik-Paketes, bspw.:

• /net/themis/jadeweser/Weser_Ausbau_ab2014/03_Modelle/2_Morphodynamik/u07/01_SIM/bM2012_OPIZ/2012H/OPIZ033/2_sim.2/_utromp2007.dat
  

Jeder Postprozessor wird die Variable dmqs_steering um einen eigenen String mit dem Pfad und dem Namen der Steuerdatei des Postprozessors ergänzen.

2. Erfassung der Analyse-Metadaten
Analyseprogramme ermitteln Kennwerte aus den Simulationsergebnissen und schreiben diese wiederum in NetCDF-Dateien. Sie nehmen auch die Metadateien der Simulationsergebisse auf, ergänzen sie und schreiben den kompletten Metadatensatz in ihre NetCDF-Ausgabedateien.

Prozessierungskette aus Simulationsprogramm und Postprozessoren

Der Postprozessor NCANALYSE würde bspw. das unter 1. genannte Element dmqs_steering mit Informationen zur Steuerdatei lesen und um einen String mit der eigenen Steuerdatei erweitern zu:

• /net/themis/jadeweser/Weser_Ausbau_ab2014/03_Modelle/2_Morphodynamik/u07/01_SIM/bM2012_OPIZ/2012H/OPIZ033/2_sim.2/_utromp2007.dat
  
• /net/themis/jadeweser/Weser_Ausbau_ab2014/03_Modelle/2_Morphodynamik/u07/01_SIM/bM2012_OPIZ/2012H/OPIZ033/3_pos.2/z2/51_ncanaTDKW/OPIZ033/are/ful/2d/r1/ncanalyse.dat
  

Diese Analyseprogramme verarbeiten automatisch DMQS-Metadaten:

• NCAGGREGATE: Aggregation von Daten für Kontrollvolumina
• NCANALYSE: (Tide-) Kennwert-Analysen
• NCDELTA: Berechnen von Differenzen

Sie können zu unterschiedlichen Prozessierungsketten kombiniert werden und die Metadatenverarbeitung reagiert darauf flexibel.

3. Erzeugung der Metadatensätze

4. Einbinden der Metadatensätze in eine Publikation