imported>Schade Peter |
imported>Schade Peter |
| (2 dazwischenliegende Versionen desselben Benutzers werden nicht angezeigt) |
| Zeile 1: |
Zeile 1: |
| <big>'''Under Construction'''</big> <br>
| | Inhalt ist umgezogen zu [[Metadaten_von_Modellergebnissen_im_Küstenwasserbau]] |
| Die Modellergebnisse der Küstengewässer lassen sich mit Metadaten so beschreiben, dass sie in Portalen gesucht und gefunden werden können. Außerdem werden ausgesuchte BAW-Publikationen mit direkten Links zu den Metadaten der Modellergebnisse versehen. Der vorliegende Leitfaden erläutert wie in der im Küstenwasserbau der BAW typischen Prozessierungskette die Metadaten erfasst und bereit gestellt werden. Die beschriebene Methode gilt für die Verarbeitung von UGRID-CF-NetCDF-Dateien.
| |
| | |
| <big>'''1. Erfassung der Simulations-Metadaten'''</big>
| |
| | |
| Die Erfassung setzt in der Prozessierungskette bei der Simulation ein. Das Modellierungsverfahren UnTRIM bestehend aus den nachfolgenden Teilmodellen verarbeitet die Meta-Informationen.
| |
| * Hydrodynamik im Paket Utromp2007
| |
| * Morphodynamik in SediMorph
| |
| * Seegang im k-Modell
| |
| Hier sind die fehlenden Metadaten als Umgebungsvariablen zu setzen, die von den drei genannten Teilmodellen ausgelesen werden. Es empfiehlt sich, die in einem Auftrag unveränderlichen Meta-Informationen in einem Shell-Skript zu bündeln. Eine ausführliche Vorlage steht unter <br />
| |
| $PROGHOME/bin/dmqs/set_dmqs_template.sh, <br />
| |
| ein Beispiel für einen konkreten Auftrag unter <br />
| |
| $PROGHOME/bin/dmqs/set_dmqs_psp_B3955.03.06.10000.sh. <br />
| |
| Die Shell-Skripte sind von den jeweiligen QSUB-Skripten aus zu rufen. Der Aufruf hat mit Punkt und Leerzeichen zu beginnen:<br />
| |
| . $PROGHOME/bin/dmqs/set_dmqs_psp_B3955.03.06.10000.sh<br />
| |
| Die folgenden Metadaten sind einmalig im Shell-Skript zu setzen:
| |
| * DMQS_PSP
| |
| * DMQS_TITLE
| |
| * DMQS_SUMMARY
| |
| * DMQS_CREATOR_NAME
| |
| * DMQS_CREATOR_EMAIL
| |
| * DMQS_PUBLISHER_EMAIL
| |
| * DMQS_INSTITUTION
| |
| * META_NAMING_AUTHORITY
| |
| * META_PUBLISHER_NAME
| |
| * META_PUBLISHER_URL
| |
| * META_REFERENCES
| |
| Der Identifikator eines Simulationslaufes wird ''nicht'' im auftragsweiten Shell-Skript sondern in der QSUB-Datei eines Laufes explizit gesetzt:
| |
| * RUN<br />
| |
| Weitere Metadaten werden automatisch von den Teilprogrammen Utromp2007, SediMorph und k-Modell erfasst. Dazu gehören insbesondere der Simulationszeitraum und die Abmessungen des Modellgebietes.<br />
| |
| Die meisten Metadatenelemente gehen als CF-Attribute in die NetCDF-Datei ein. Hinzu kommen DMQS-Variablen, die mit jedem Prozessierungsschritt automatisch ergänzt werden.
| |
| * dmqs_steering: Pfad und Name der Datendatei im Arbeitsverzeichnis
| |
| * dmqs_data_path_file: Pfad und Name der Steuerdatei im Arbeitsverzeichnis
| |
| * dmqs_method: Name und Version der Methode
| |
| * dmqs_execution_start: Datums- und Zeitstempel zu Beginn der Laufzeit
| |
| * dmqs_sim_time_step: Rechenzeitschritt der ursprünglichen Simulation
| |
| * dmqs: DMQS-Containervariable mit Referenzen auf die anderen DMQS-Variablen.
| |
| Dmqs_steering enthält in den hydrodynamischen Ergebnissen einen String mit dem Pfad und dem Namen der Steuerdatei des Hydrodynamik-Paketes, bspw.:
| |
| * /net/themis/jadeweser/Weser_Ausbau_ab2014/03_Modelle/2_Morphodynamik/u07/01_SIM/bM2012_OPIZ/2012H/OPIZ033/2_sim.2/'''_utromp2007.dat''' <br/>
| |
| Jeder Postprozessor wird die Variable dmqs_steering um einen eigenen String mit dem Pfad und dem Namen der Steuerdatei des Postprozessors ergänzen.
| |
| | |
| <big>'''2. Erfassung der Analyse-Metadaten'''</big> <br>
| |
| Analyseprogramme ermitteln Kennwerte aus den Simulationsergebnissen und schreiben diese wiederum in NetCDF-Dateien. Sie nehmen auch die Metadateien der Simulationsergebisse auf, ergänzen sie und schreiben den kompletten Metadatensatz in ihre NetCDF-Ausgabedateien. <br>
| |
| [[Datei:Dmqs prozessierungskette.png|200px|thumb|left|Prozessierungskette aus Simulationsprogramm und Postprozessoren]] <br><br><br><br>
| |
| Der Postprozessor NCANALYSE würde bspw. das unter 1. genannte Element dmqs_steering mit Informationen zur Steuerdatei lesen und um einen String mit der eigenen Steuerdatei erweitern zu:
| |
| * /net/themis/jadeweser/Weser_Ausbau_ab2014/03_Modelle/2_Morphodynamik/u07/01_SIM/bM2012_OPIZ/2012H/OPIZ033/2_sim.2/'''_utromp2007.dat''' <br>
| |
| * /net/themis/jadeweser/Weser_Ausbau_ab2014/03_Modelle/2_Morphodynamik/u07/01_SIM/bM2012_OPIZ/2012H/OPIZ033/3_pos.2/z2/51_ncanaTDKW/OPIZ033/are/ful/2d/r1/'''ncanalyse.dat''' <br/>
| |
| Diese Analyseprogramme verarbeiten automatisch DMQS-Metadaten:
| |
| * [[NCAGGREGATE]]: Aggregation von Daten für Kontrollvolumina
| |
| * [[NCANALYSE]]: (Tide-) Kennwert-Analysen
| |
| * [[NCDELTA]]: Berechnen von Differenzen
| |
| Sie können zu unterschiedlichen Prozessierungsketten kombiniert werden und die Metadatenverarbeitung reagiert darauf flexibel.
| |
| | |
| <big>'''3. Erzeugung der Metadatensätze'''</big><br>
| |
| | |
| <big>'''4. Einbinden der Metadatensätze in eine Publikation'''</big><br>
| |
