Aktionen

NCAGGREGATE: Unterschied zwischen den Versionen

Aus BAWiki

imported>Schade Peter
K (+ davit)
K (update version)
 
(25 dazwischenliegende Versionen von 6 Benutzern werden nicht angezeigt)
Zeile 2: Zeile 2:
|name_en=NCAGGREGATE
|name_en=NCAGGREGATE
|name=NCAGGREGATE
|name=NCAGGREGATE
|version=Februar 2017
|version=Mai 2023
|version_beschr=Februar 2017
|version_beschr=September 2022
|stichworte=Analyse<br />
|stichworte=Analyse<br />
Postprocessor<br/>
Postprocessor<br/>
Zeile 18: Zeile 18:
Parallelisierung mit [http://openmp.org/wp/ OpenMP]<br />
Parallelisierung mit [http://openmp.org/wp/ OpenMP]<br />
Unterstützung von DMQS-Metadaten und -Variablen<br />
Unterstützung von DMQS-Metadaten und -Variablen<br />
[[NetCDF#Qualitätssicherung mit NetCDF-Attributen|(Teil-) Automatisierte Qualitätssicherung (Wertebereich)]]<br />
Automatische Anpassung der READ-Daten-Portionen an Chunk-Größe<br />
Automatische Berechnung der Chunk-Größen der Ergebnisvariablen für orthogonalen Datenzugriff<br />
Ablage des Inhalts der ASCII-Eingabesteuerdateien in [[CF-NETCDF.NC|netcdf.nc]] (als Variable)<br />
Ablage der [https://de.wikipedia.org/wiki/Message-Digest_Algorithm_5 MD5-Hash]-Werte von Eingabedateien in [[CF-NETCDF.NC|netcdf.nc]] (als Variable)<br />
optionale Verwendung der ''Message Passing Interface'' (MPI, [https://www.mpi-forum.org/ MPI Forum])


  Danksagung: ''This project took advantage of netCDF software developed by UCAR/Unidata ([http://www.unidata.ucar.edu/software/netcdf/ www.unidata.ucar.edu/software/netcdf/]).''
  Danksagung: ''This project took advantage of netCDF software developed by UCAR/Unidata ([http://www.unidata.ucar.edu/software/netcdf/ www.unidata.ucar.edu/software/netcdf/]).''
Zeile 23: Zeile 29:
|kurzbeschreibung=
|kurzbeschreibung=
Das Programm NCAGGREGATE eignet sich für verschiedene Fragestellungen, die im Folgenden aufgezählt sind. Für die verschiedenen Anwendungsfälle werden jeweils die nützlichen Programme und die Reihenfolger ihrer Anwendung aufgeführt:
Das Programm NCAGGREGATE eignet sich für verschiedene Fragestellungen, die im Folgenden aufgezählt sind. Für die verschiedenen Anwendungsfälle werden jeweils die nützlichen Programme und die Reihenfolger ihrer Anwendung aufgeführt:
* Aggregation synoptischer Transport-Daten für Kontroll-Volumina mit dem Ziel eine präzisen Bilanzierung von Transporten (Wasser, Salz, etc.):  
* Aggregation synoptischer Transport-Daten für Kontroll-Volumina mit dem Ziel eine präzisen Bilanzierung von Transporten (Wasser, Salz, etc.):<br />Hinweis: Um eine für INSPECT_CONTROL_VOLUMES geeignete Eingangsdatei zu erhalten, muss die Simulation mindestens mit Salz oder Temperatur durchgeführt werden. Auch wenn man nur an der Hydrodynamik interessiert ist, muss NCAGGREGATE auch die Salz- oder Temperaturgrößen aggregieren. Die Größe des aggregierten synoptischen Wasservolumens wird sonst nicht berechnet. Diese Größe ist aber bei den in INSPECT_CONTROL_VOLUMES durchgeführten Berechnungen erforderlich.
*# [[UNTRIM2007]] oder [[UNTRIM2]],
*# [[UNTRIM2007]] oder [[UNTRIM2]],
*# NCAGGREGATE,
*# NCAGGREGATE,
Zeile 48: Zeile 54:
*# [[NCPLOT]].
*# [[NCPLOT]].
Bei der Aggregation klassischer Daten werden automatisch sogenannte ''Land Binary Masks'' (LBM) ergänzt. LBMs beschreiben die Land-Wasser-Verteilung zum Zeitpunkt der Aggregation auf dem originalen Gitter. LBMs ermöglichen visualisierenden Anwendungen wir [[NCPLOT]] eine optimale Darstellung aggregierter Größen mit sinnvoller Land-Wasser-Verteilung innerhalb jedes Kontrollvolumens.  
Bei der Aggregation klassischer Daten werden automatisch sogenannte ''Land Binary Masks'' (LBM) ergänzt. LBMs beschreiben die Land-Wasser-Verteilung zum Zeitpunkt der Aggregation auf dem originalen Gitter. LBMs ermöglichen visualisierenden Anwendungen wir [[NCPLOT]] eine optimale Darstellung aggregierter Größen mit sinnvoller Land-Wasser-Verteilung innerhalb jedes Kontrollvolumens.  
Optional kann der Anwender gezielt verschiedene Perzentile (0.01, 0.05, 0.50, 0.95 und 0.99) oder Häufigkeitsverteilungen unter Verwendung frei wählbarer Klassen zusätzlich zu den ''üblichen'' aggregierten Daten erzeugen lassen. Man beachte hierzu die Hinweise bei Datei [[NCAGGREGATE.DAT|ncaggregate.dat]].


[[Datei:ncaggregate_patch.png|thumb|'''Bild ''Kontrollvolumina und Exchanges'''.]]
[[Datei:ncaggregate_patch.png|thumb|'''Bild ''Kontrollvolumina und Exchanges'''.]]
Zeile 53: Zeile 61:
|eingabedateien=
|eingabedateien=
# '''allgemeine Eingabedaten''' (Dateityp [[NCAGGREGATE.DAT|ncaggregate.dat]]);
# '''allgemeine Eingabedaten''' (Dateityp [[NCAGGREGATE.DAT|ncaggregate.dat]]);
# Datei mit '''Klassifikationen''' von Häufigkeitsverteilungen ([[BOUNDS.CFG.DAT|bounds.cfg.dat]]) <br />Hinweis: Lokale Konfigurationsdatei (empfohlen) oder Datei aus $PROGHOME/cfg/-Verzeichnis.
# '''synoptische Datensätze''' (Dateityp [[CF-NETCDF.NC|cf-netcdf.nc]]);
# '''synoptische Datensätze''' (Dateityp [[CF-NETCDF.NC|cf-netcdf.nc]]);
# '''Kontroll-Volumina''' (Dateityp [[IPDS.DAT|ipds.dat]]).
# '''Kontroll-Volumina''' (Dateityp [[IPDS.DAT|ipds.dat]]):
# für eine [[NetCDF#Qualitätssicherung mit NetCDF-Attributen|(teil-) automatisierte Qualitätssicherung]] (Dateityp [[BOUNDS.CFG.DAT|bounds_verify.dat]]).


|ausgabedateien=   
|ausgabedateien=   
Zeile 65: Zeile 75:
Falls beim Lesen von Daten ein '''HDF error''' auftritt wird versucht, die Werte des gewünschten Datenrecords aus den Werten zeitlich benachbarter Records zu rekonstruieren (Interpolation). Diese Reparatur funktioniert ausschließlich für von der Zeit abhängige Variablen. <br>
Falls beim Lesen von Daten ein '''HDF error''' auftritt wird versucht, die Werte des gewünschten Datenrecords aus den Werten zeitlich benachbarter Records zu rekonstruieren (Interpolation). Diese Reparatur funktioniert ausschließlich für von der Zeit abhängige Variablen. <br>


Ein Leitfaden zur Erfassung der DMQS-Metadaten steht [[Leitfaden_Metadaten_Küstengewässer|hier]].
|preprozessor=[[NCANALYSE]], [[NCCHUNKIE]], [[NCCUTOUT]], [[NCDELTA]], [[NCDVAR]], [[NCMERGE]], [[UNTRIM2007]], [[UNTRIM2]], [[INSEL2IPDS]]
 
|postprozessor=[[DAVIT]], [[INSPECT_CONTROL_VOLUMES]], [[NCANALYSE]], [[NCAUTO]], [[NCCHUNKIE]], [[NCDELTA]], [[NCDVAR]], [[NCMERGE]], [[NCPLOT]], [[NC2TABLE]], [[PLOTPROFILZEIT]],[[PLOTTS]]
|preprozessor=[[NCANALYSE]], [[NCDELTA]], [[UNTRIM2007]], [[UNTRIM2]], [[INSEL2IPDS]]
|postprozessor=[[DAVIT]], [[INSPECT_CONTROL_VOLUMES]], [[NCANALYSE]], [[NCAUTO]], [[NCDELTA]], [[NCPLOT]], [[PLOTTS]]
|programmiersprache=Fortran95
|programmiersprache=Fortran95
|zus_software= ---
|zus_software= ---
|kontakt_original=[mailto:guenther.lang@baw.de G. Lang]
|kontakt_original=G. Lang
|kontakt_pflege=[mailto:guenther.lang@baw.de G. Lang],[mailto:susanne.spohr@baw.de S. Spohr]
|kontakt_pflege=[mailto:pos.proghome@baw.de Arbeitsgruppe POS]
|dokumentation=
|dokumentation=
* Vorträge:
* Vorträge:
** 2014-03-12: [http://ewisa.baw.de/files/09206_tv12_2014_03_12_aggregation_g_lang.pdf ''Aggregation von Daten''].
** 2014-03-12: [http://ewisa.baw.de/files/09206_tv12_2014_03_12_aggregation_g_lang.pdf ''Aggregation von Daten''].
* [https://izw-campus.baw.de/ ''IZW-Campus''] (Podcast)
**2020-12-07: [https://izw-campus.baw.de/goto.php?target=cat_1830&client_id=iliasclient ''Aggregation und NCAGGREGATE''].
* Musterdateien:
* Musterdateien:
** Musterdateien finden sich in '''$PROGHOME/examples/ncaggregate/'''
** Musterdateien finden sich in '''$PROGHOME/examples/ncaggregate/'''
}}
}}

Aktuelle Version vom 11. Mai 2023, 08:55 Uhr

Basisinformationen

Programm-Name

NCAGGREGATE

Version

Mai 2023

Beschreibung

September 2022

Stichworte

Analyse
Postprocessor
synoptische Berechnungsergebnisse
Tidekennwerte
Tideunabhängige Kennwerte
Differenzen synoptischer Berechnungsergebnisse
Differenzen von Tidekennwerten
Differenzen von tideunabhängigen Kennwerten
CF NetCDF Format für 2D-Daten
aggregierte Daten für Kontroll-Volumina und Austausch-Flächen
Verfahren für unstrukturierte orthogonale Gitternetze
Unterstützung von Simulationsergebnissen mit SubGrid
Parallelisierung mit OpenMP
Unterstützung von DMQS-Metadaten und -Variablen
(Teil-) Automatisierte Qualitätssicherung (Wertebereich)
Automatische Anpassung der READ-Daten-Portionen an Chunk-Größe
Automatische Berechnung der Chunk-Größen der Ergebnisvariablen für orthogonalen Datenzugriff
Ablage des Inhalts der ASCII-Eingabesteuerdateien in netcdf.nc (als Variable)
Ablage der MD5-Hash-Werte von Eingabedateien in netcdf.nc (als Variable)
optionale Verwendung der Message Passing Interface (MPI, MPI Forum) 

Danksagung: This project took advantage of netCDF software developed by UCAR/Unidata (www.unidata.ucar.edu/software/netcdf/).

Kurzbeschreibung

Das Programm NCAGGREGATE eignet sich für verschiedene Fragestellungen, die im Folgenden aufgezählt sind. Für die verschiedenen Anwendungsfälle werden jeweils die nützlichen Programme und die Reihenfolger ihrer Anwendung aufgeführt:

  • Aggregation synoptischer Transport-Daten für Kontroll-Volumina mit dem Ziel eine präzisen Bilanzierung von Transporten (Wasser, Salz, etc.):
    Hinweis: Um eine für INSPECT_CONTROL_VOLUMES geeignete Eingangsdatei zu erhalten, muss die Simulation mindestens mit Salz oder Temperatur durchgeführt werden. Auch wenn man nur an der Hydrodynamik interessiert ist, muss NCAGGREGATE auch die Salz- oder Temperaturgrößen aggregieren. Die Größe des aggregierten synoptischen Wasservolumens wird sonst nicht berechnet. Diese Größe ist aber bei den in INSPECT_CONTROL_VOLUMES durchgeführten Berechnungen erforderlich.
    1. UNTRIM2007 oder UNTRIM2,
    2. NCAGGREGATE,
    3. INSPECT_CONTROL_VOLUMES (Ergebnisse prüfen),
    4. NCANALYSE, und
    5. DISPLAY_CONTROL_VOLUMES.
  • Aggregation synoptischer Daten (Wasserspiegelauslenkung, Strömungsgeschwindigkeit, Salzgehalt, etc.) mit dem Ziel einer Reduktion der Komplexität der Ergebnisse:
    1. UNTRIM2007 oder UNTRIM2,
    2. NCAGGREGATE, und
    3. NCPLOT.
  • Aggregation von Kennwerten zur Reduktion der Komplexität:
    1. UNTRIM2007 oder UNTRIM2,
    2. NCANALYSE,
    3. NCPLOT (Kennwerte prüfen),
    4. NCAGGREGATE, und
    5. NCPLOT.
  • Aggregation der Differenz von Kennwerten oder synoptischen Daten zur Reduktion der Komplexität:
    1. UNTRIM2007 oder UNTRIM2 (testweise auch für DFlow FM),
    2. NCANALYSE (für Kennwerte),
    3. NCPLOT (Kennwerte prüfen),
    4. NCDELTA,
    5. NCPLOT (Differenzen prüfen),
    6. NCAGGREGATE, und
    7. NCPLOT.

Bei der Aggregation klassischer Daten werden automatisch sogenannte Land Binary Masks (LBM) ergänzt. LBMs beschreiben die Land-Wasser-Verteilung zum Zeitpunkt der Aggregation auf dem originalen Gitter. LBMs ermöglichen visualisierenden Anwendungen wir NCPLOT eine optimale Darstellung aggregierter Größen mit sinnvoller Land-Wasser-Verteilung innerhalb jedes Kontrollvolumens.

Optional kann der Anwender gezielt verschiedene Perzentile (0.01, 0.05, 0.50, 0.95 und 0.99) oder Häufigkeitsverteilungen unter Verwendung frei wählbarer Klassen zusätzlich zu den üblichen aggregierten Daten erzeugen lassen. Man beachte hierzu die Hinweise bei Datei ncaggregate.dat.

Bild Kontrollvolumina und Exchanges.

Eingabe-Dateien

  1. allgemeine Eingabedaten (Dateityp ncaggregate.dat);
  2. Datei mit Klassifikationen von Häufigkeitsverteilungen (bounds.cfg.dat)
    Hinweis: Lokale Konfigurationsdatei (empfohlen) oder Datei aus $PROGHOME/cfg/-Verzeichnis.
  3. synoptische Datensätze (Dateityp cf-netcdf.nc);
  4. Kontroll-Volumina (Dateityp ipds.dat):
  5. für eine (teil-) automatisierte Qualitätssicherung (Dateityp bounds_verify.dat).

Ausgabe-Dateien

  1. Aggregierte Daten Dateityp cf-netcdf.nc); zur Struktur des Aggregations-Gitters und dessen Zusammenhang mit dem Berechnungsgitter siehe unter NetCDF Aggregation für unstrukturierte Gitter.
  2. (optional) Datei mit Informationen zum Programmablauf (Dateityp ncaggregate.sdr);
  3. (optional) Datei mit Testausgaben (Dateityp ncaggregate.trc).

Methode

Geeignete physikalische Daten werden für Kontroll-Volumina sowie Austauschflächen (Exchanges) aggregiert.

Falls beim Lesen von Daten ein HDF error auftritt wird versucht, die Werte des gewünschten Datenrecords aus den Werten zeitlich benachbarter Records zu rekonstruieren (Interpolation). Diese Reparatur funktioniert ausschließlich für von der Zeit abhängige Variablen.

Vorlauf-Programme

NCANALYSE, NCCHUNKIE, NCCUTOUT, NCDELTA, NCDVAR, NCMERGE, UNTRIM2007, UNTRIM2, INSEL2IPDS

Nachlauf-Programme

DAVIT, INSPECT_CONTROL_VOLUMES, NCANALYSE, NCAUTO, NCCHUNKIE, NCDELTA, NCDVAR, NCMERGE, NCPLOT, NC2TABLE, PLOTPROFILZEIT,PLOTTS

Weitere Informationen

Programmiersprache

Fortran95

zusätzliche Software

---

Originalversion

G. Lang

Programmpflege

Arbeitsgruppe POS

Dokumentation/Literatur

zurück zu Programmkennblätter

Strukturübersicht

Abgerufen von „https://wiki.baw.de/de/index.php?title=NCAGGREGATE&oldid=36130“