Aktionen

NCAGGREGATE: Unterschied zwischen den Versionen

Aus BAWiki

imported>Lang Guenther
(Beschreibung der Anwendungsfälle in der Kurzbeschreibung präzisiert)
K (update version)
 
(42 dazwischenliegende Versionen von 7 Benutzern werden nicht angezeigt)
Zeile 2: Zeile 2:
|name_en=NCAGGREGATE
|name_en=NCAGGREGATE
|name=NCAGGREGATE
|name=NCAGGREGATE
|version=Juli 2015
|version=Mai 2023
|version_beschr=Juli 2015
|version_beschr=September 2022
|stichworte=Analyse<br />
|stichworte=Analyse<br />
Postprocessor<br/>
Postprocessor<br/>
Zeile 13: Zeile 13:
Differenzen von tideunabhängigen Kennwerten<br />
Differenzen von tideunabhängigen Kennwerten<br />
[[NetCDF|CF NetCDF]] Format für 2D-Daten<br />
[[NetCDF|CF NetCDF]] Format für 2D-Daten<br />
aggregierte Daten für Kontroll-Volumina<br />
aggregierte Daten für Kontroll-Volumina und Austausch-Flächen<br />
Verfahren für unstrukturierte orthogonale Gitternetze<br />
Verfahren für unstrukturierte orthogonale Gitternetze<br />
Unterstützung von Simulationsergebnissen mit SubGrid<br />
Unterstützung von Simulationsergebnissen mit SubGrid<br />
Parallelisierung mit [http://openmp.org/wp/ OpenMP].<br />
Parallelisierung mit [http://openmp.org/wp/ OpenMP]<br />
Unterstützung von DMQS-Metadaten und -Variablen<br />
[[NetCDF#Qualitätssicherung mit NetCDF-Attributen|(Teil-) Automatisierte Qualitätssicherung (Wertebereich)]]<br />
Automatische Anpassung der READ-Daten-Portionen an Chunk-Größe<br />
Automatische Berechnung der Chunk-Größen der Ergebnisvariablen für orthogonalen Datenzugriff<br />
Ablage des Inhalts der ASCII-Eingabesteuerdateien in [[CF-NETCDF.NC|netcdf.nc]] (als Variable)<br />
Ablage der [https://de.wikipedia.org/wiki/Message-Digest_Algorithm_5 MD5-Hash]-Werte von Eingabedateien in [[CF-NETCDF.NC|netcdf.nc]] (als Variable)<br />
optionale Verwendung der ''Message Passing Interface'' (MPI, [https://www.mpi-forum.org/ MPI Forum])


  Danksagung: ''This project took advantage of netCDF software developed by UCAR/Unidata ([http://www.unidata.ucar.edu/software/netcdf/ www.unidata.ucar.edu/software/netcdf/]).''
  Danksagung: ''This project took advantage of netCDF software developed by UCAR/Unidata ([http://www.unidata.ucar.edu/software/netcdf/ www.unidata.ucar.edu/software/netcdf/]).''


|kurzbeschreibung=
|kurzbeschreibung=
Das Programm NCAGGREGATE eignet sich für verschiedene Fragestellungen:
Das Programm NCAGGREGATE eignet sich für verschiedene Fragestellungen, die im Folgenden aufgezählt sind. Für die verschiedenen Anwendungsfälle werden jeweils die nützlichen Programme und die Reihenfolger ihrer Anwendung aufgeführt:
* Aggregation synoptischer Transport-Daten für Kontroll-Volumina mit dem Ziel eine präzisen Bilanzierung von Transporten (Wasser, Salz, etc.):  
* Aggregation synoptischer Transport-Daten für Kontroll-Volumina mit dem Ziel eine präzisen Bilanzierung von Transporten (Wasser, Salz, etc.):<br />Hinweis: Um eine für INSPECT_CONTROL_VOLUMES geeignete Eingangsdatei zu erhalten, muss die Simulation mindestens mit Salz oder Temperatur durchgeführt werden. Auch wenn man nur an der Hydrodynamik interessiert ist, muss NCAGGREGATE auch die Salz- oder Temperaturgrößen aggregieren. Die Größe des aggregierten synoptischen Wasservolumens wird sonst nicht berechnet. Diese Größe ist aber bei den in INSPECT_CONTROL_VOLUMES durchgeführten Berechnungen erforderlich.
*# [[UNTRIM2007]] oder [[UNTRIM2]],
*# [[UNTRIM2007]] oder [[UNTRIM2]],
*# NCAGGREGATE,
*# NCAGGREGATE,
Zeile 28: Zeile 35:
*# [[NCANALYSE]], und
*# [[NCANALYSE]], und
*# [[DISPLAY_CONTROL_VOLUMES]].
*# [[DISPLAY_CONTROL_VOLUMES]].
* Aggregation synoptischer Daten (Wasserspiegelauslenkung, Salzgehalt, etc.) mit dem Ziel einer Reduktion der Komplexität der Ergebnisse:
* Aggregation synoptischer Daten (Wasserspiegelauslenkung, Strömungsgeschwindigkeit, Salzgehalt, etc.) mit dem Ziel einer Reduktion der Komplexität der Ergebnisse:
*# [[UNTRIM2007]] oder [[UNTRIM2]],
*# [[UNTRIM2007]] oder [[UNTRIM2]],
*# NCAGGREGATE, und
*# NCAGGREGATE, und
Zeile 39: Zeile 46:
*# [[NCPLOT]].
*# [[NCPLOT]].
* Aggregation der Differenz von Kennwerten oder synoptischen Daten zur Reduktion der Komplexität:
* Aggregation der Differenz von Kennwerten oder synoptischen Daten zur Reduktion der Komplexität:
*# [[UNTRIM2007]] oder [[UNTRIM2]],
*# [[UNTRIM2007]] oder [[UNTRIM2]] (testweise auch für DFlow FM),
*# [[NCANALYSE]] (für Kennwerte),
*# [[NCANALYSE]] (für Kennwerte),
*# [[NCPLOT]] (Kennwerte prüfen),
*# [[NCPLOT]] (Kennwerte prüfen),
Zeile 46: Zeile 53:
*# NCAGGREGATE, und
*# NCAGGREGATE, und
*# [[NCPLOT]].
*# [[NCPLOT]].
Bei der Aggregation klassischer Daten werden automatisch sogenannte ''Land Binary Masks'' (LBM) ergänzt. LBMs beschreiben die Land-Wasser-Verteilung zum Zeitpunkt der Aggregation auf dem originalen Gitter. LBMs ermöglichen visualisierenden Anwendungen wir [[NCPLOT]] eine optimale Darstellung aggregierter Größen mit sinnvoller Land-Wasser-Verteilung innerhalb jedes Kontrollvolumens.
Optional kann der Anwender gezielt verschiedene Perzentile (0.01, 0.05, 0.50, 0.95 und 0.99) oder Häufigkeitsverteilungen unter Verwendung frei wählbarer Klassen zusätzlich zu den ''üblichen'' aggregierten Daten erzeugen lassen. Man beachte hierzu die Hinweise bei Datei [[NCAGGREGATE.DAT|ncaggregate.dat]].


[[Datei:ncaggregate_patch.png|thumb|'''Bild ''Kontrollvolumina und Exchanges'''.]]
[[Datei:ncaggregate_patch.png|thumb|'''Bild ''Kontrollvolumina und Exchanges'''.]]
Zeile 51: Zeile 61:
|eingabedateien=
|eingabedateien=
# '''allgemeine Eingabedaten''' (Dateityp [[NCAGGREGATE.DAT|ncaggregate.dat]]);
# '''allgemeine Eingabedaten''' (Dateityp [[NCAGGREGATE.DAT|ncaggregate.dat]]);
# Datei mit '''Klassifikationen''' von Häufigkeitsverteilungen ([[BOUNDS.CFG.DAT|bounds.cfg.dat]]) <br />Hinweis: Lokale Konfigurationsdatei (empfohlen) oder Datei aus $PROGHOME/cfg/-Verzeichnis.
# '''synoptische Datensätze''' (Dateityp [[CF-NETCDF.NC|cf-netcdf.nc]]);
# '''synoptische Datensätze''' (Dateityp [[CF-NETCDF.NC|cf-netcdf.nc]]);
# '''Kontroll-Volumina''' (Dateityp [[IPDS.DAT|ipds.dat]]).
# '''Kontroll-Volumina''' (Dateityp [[IPDS.DAT|ipds.dat]]):
# für eine [[NetCDF#Qualitätssicherung mit NetCDF-Attributen|(teil-) automatisierte Qualitätssicherung]] (Dateityp [[BOUNDS.CFG.DAT|bounds_verify.dat]]).


|ausgabedateien=   
|ausgabedateien=   
# '''Aggregierte Daten''' Dateityp [[CF-NETCDF.NC|cf-netcdf.nc]]);
# '''Aggregierte Daten''' Dateityp [[CF-NETCDF.NC|cf-netcdf.nc]]); zur Struktur des Aggregations-Gitters und dessen Zusammenhang mit dem Berechnungsgitter siehe unter ''[[NetCDF Aggregation f%C3%BCr unstrukturierte Gitter]]''.
# (optional) Datei mit '''Informationen zum Programmablauf''' (Dateityp ncaggregate.sdr);
# (optional) Datei mit '''Informationen zum Programmablauf''' (Dateityp ncaggregate.sdr);
# (optional) Datei mit '''Testausgaben''' (Dateityp ncaggregate.trc).
# (optional) Datei mit '''Testausgaben''' (Dateityp ncaggregate.trc).
Zeile 61: Zeile 73:
Geeignete physikalische Daten werden für Kontroll-Volumina sowie Austauschflächen (''Exchanges'') aggregiert.  
Geeignete physikalische Daten werden für Kontroll-Volumina sowie Austauschflächen (''Exchanges'') aggregiert.  


|preprozessor=[[NCANALYSE]], [[NCDELTA]], [[UNTRIM2007]], [[UNTRIM2]]
Falls beim Lesen von Daten ein '''HDF error''' auftritt wird versucht, die Werte des gewünschten Datenrecords aus den Werten zeitlich benachbarter Records zu rekonstruieren (Interpolation). Diese Reparatur funktioniert ausschließlich für von der Zeit abhängige Variablen. <br>
|postprozessor=[[INSPECT_CONTROL_VOLUMES]], [[NCANALYSE]], [[NCDELTA]], [[NCPLOT]]
 
|preprozessor=[[NCANALYSE]], [[NCCHUNKIE]], [[NCCUTOUT]], [[NCDELTA]], [[NCDVAR]], [[NCMERGE]], [[UNTRIM2007]], [[UNTRIM2]], [[INSEL2IPDS]]
|postprozessor=[[DAVIT]], [[INSPECT_CONTROL_VOLUMES]], [[NCANALYSE]], [[NCAUTO]], [[NCCHUNKIE]], [[NCDELTA]], [[NCDVAR]], [[NCMERGE]], [[NCPLOT]], [[NC2TABLE]], [[PLOTPROFILZEIT]],[[PLOTTS]]
|programmiersprache=Fortran95
|programmiersprache=Fortran95
|zus_software= ---
|zus_software= ---
|kontakt_original=[mailto:guenther.lang@baw.de G. Lang]
|kontakt_original=G. Lang
|kontakt_pflege=[mailto:guenther.lang@baw.de G. Lang],[mailto:susanne.spohr@baw.de S. Spohr]
|kontakt_pflege=[mailto:pos.proghome@baw.de Arbeitsgruppe POS]
|dokumentation=
|dokumentation=
Musterdateien finden sich in '''$PROGHOME/examples/ncaggregate/'''
* Vorträge:
** 2014-03-12: [http://ewisa.baw.de/files/09206_tv12_2014_03_12_aggregation_g_lang.pdf ''Aggregation von Daten''].
* [https://izw-campus.baw.de/ ''IZW-Campus''] (Podcast)
**2020-12-07: [https://izw-campus.baw.de/goto.php?target=cat_1830&client_id=iliasclient ''Aggregation und NCAGGREGATE''].
* Musterdateien:
** Musterdateien finden sich in '''$PROGHOME/examples/ncaggregate/'''
}}
}}

Aktuelle Version vom 11. Mai 2023, 08:55 Uhr

Basisinformationen

Programm-Name

NCAGGREGATE

Version

Mai 2023

Beschreibung

September 2022

Stichworte

Analyse
Postprocessor
synoptische Berechnungsergebnisse
Tidekennwerte
Tideunabhängige Kennwerte
Differenzen synoptischer Berechnungsergebnisse
Differenzen von Tidekennwerten
Differenzen von tideunabhängigen Kennwerten
CF NetCDF Format für 2D-Daten
aggregierte Daten für Kontroll-Volumina und Austausch-Flächen
Verfahren für unstrukturierte orthogonale Gitternetze
Unterstützung von Simulationsergebnissen mit SubGrid
Parallelisierung mit OpenMP
Unterstützung von DMQS-Metadaten und -Variablen
(Teil-) Automatisierte Qualitätssicherung (Wertebereich)
Automatische Anpassung der READ-Daten-Portionen an Chunk-Größe
Automatische Berechnung der Chunk-Größen der Ergebnisvariablen für orthogonalen Datenzugriff
Ablage des Inhalts der ASCII-Eingabesteuerdateien in netcdf.nc (als Variable)
Ablage der MD5-Hash-Werte von Eingabedateien in netcdf.nc (als Variable)
optionale Verwendung der Message Passing Interface (MPI, MPI Forum) 

Danksagung: This project took advantage of netCDF software developed by UCAR/Unidata (www.unidata.ucar.edu/software/netcdf/).

Kurzbeschreibung

Das Programm NCAGGREGATE eignet sich für verschiedene Fragestellungen, die im Folgenden aufgezählt sind. Für die verschiedenen Anwendungsfälle werden jeweils die nützlichen Programme und die Reihenfolger ihrer Anwendung aufgeführt:

  • Aggregation synoptischer Transport-Daten für Kontroll-Volumina mit dem Ziel eine präzisen Bilanzierung von Transporten (Wasser, Salz, etc.):
    Hinweis: Um eine für INSPECT_CONTROL_VOLUMES geeignete Eingangsdatei zu erhalten, muss die Simulation mindestens mit Salz oder Temperatur durchgeführt werden. Auch wenn man nur an der Hydrodynamik interessiert ist, muss NCAGGREGATE auch die Salz- oder Temperaturgrößen aggregieren. Die Größe des aggregierten synoptischen Wasservolumens wird sonst nicht berechnet. Diese Größe ist aber bei den in INSPECT_CONTROL_VOLUMES durchgeführten Berechnungen erforderlich.
    1. UNTRIM2007 oder UNTRIM2,
    2. NCAGGREGATE,
    3. INSPECT_CONTROL_VOLUMES (Ergebnisse prüfen),
    4. NCANALYSE, und
    5. DISPLAY_CONTROL_VOLUMES.
  • Aggregation synoptischer Daten (Wasserspiegelauslenkung, Strömungsgeschwindigkeit, Salzgehalt, etc.) mit dem Ziel einer Reduktion der Komplexität der Ergebnisse:
    1. UNTRIM2007 oder UNTRIM2,
    2. NCAGGREGATE, und
    3. NCPLOT.
  • Aggregation von Kennwerten zur Reduktion der Komplexität:
    1. UNTRIM2007 oder UNTRIM2,
    2. NCANALYSE,
    3. NCPLOT (Kennwerte prüfen),
    4. NCAGGREGATE, und
    5. NCPLOT.
  • Aggregation der Differenz von Kennwerten oder synoptischen Daten zur Reduktion der Komplexität:
    1. UNTRIM2007 oder UNTRIM2 (testweise auch für DFlow FM),
    2. NCANALYSE (für Kennwerte),
    3. NCPLOT (Kennwerte prüfen),
    4. NCDELTA,
    5. NCPLOT (Differenzen prüfen),
    6. NCAGGREGATE, und
    7. NCPLOT.

Bei der Aggregation klassischer Daten werden automatisch sogenannte Land Binary Masks (LBM) ergänzt. LBMs beschreiben die Land-Wasser-Verteilung zum Zeitpunkt der Aggregation auf dem originalen Gitter. LBMs ermöglichen visualisierenden Anwendungen wir NCPLOT eine optimale Darstellung aggregierter Größen mit sinnvoller Land-Wasser-Verteilung innerhalb jedes Kontrollvolumens.

Optional kann der Anwender gezielt verschiedene Perzentile (0.01, 0.05, 0.50, 0.95 und 0.99) oder Häufigkeitsverteilungen unter Verwendung frei wählbarer Klassen zusätzlich zu den üblichen aggregierten Daten erzeugen lassen. Man beachte hierzu die Hinweise bei Datei ncaggregate.dat.

Bild Kontrollvolumina und Exchanges.

Eingabe-Dateien

  1. allgemeine Eingabedaten (Dateityp ncaggregate.dat);
  2. Datei mit Klassifikationen von Häufigkeitsverteilungen (bounds.cfg.dat)
    Hinweis: Lokale Konfigurationsdatei (empfohlen) oder Datei aus $PROGHOME/cfg/-Verzeichnis.
  3. synoptische Datensätze (Dateityp cf-netcdf.nc);
  4. Kontroll-Volumina (Dateityp ipds.dat):
  5. für eine (teil-) automatisierte Qualitätssicherung (Dateityp bounds_verify.dat).

Ausgabe-Dateien

  1. Aggregierte Daten Dateityp cf-netcdf.nc); zur Struktur des Aggregations-Gitters und dessen Zusammenhang mit dem Berechnungsgitter siehe unter NetCDF Aggregation für unstrukturierte Gitter.
  2. (optional) Datei mit Informationen zum Programmablauf (Dateityp ncaggregate.sdr);
  3. (optional) Datei mit Testausgaben (Dateityp ncaggregate.trc).

Methode

Geeignete physikalische Daten werden für Kontroll-Volumina sowie Austauschflächen (Exchanges) aggregiert.

Falls beim Lesen von Daten ein HDF error auftritt wird versucht, die Werte des gewünschten Datenrecords aus den Werten zeitlich benachbarter Records zu rekonstruieren (Interpolation). Diese Reparatur funktioniert ausschließlich für von der Zeit abhängige Variablen.

Vorlauf-Programme

NCANALYSE, NCCHUNKIE, NCCUTOUT, NCDELTA, NCDVAR, NCMERGE, UNTRIM2007, UNTRIM2, INSEL2IPDS

Nachlauf-Programme

DAVIT, INSPECT_CONTROL_VOLUMES, NCANALYSE, NCAUTO, NCCHUNKIE, NCDELTA, NCDVAR, NCMERGE, NCPLOT, NC2TABLE, PLOTPROFILZEIT,PLOTTS

Weitere Informationen

Programmiersprache

Fortran95

zusätzliche Software

---

Originalversion

G. Lang

Programmpflege

Arbeitsgruppe POS

Dokumentation/Literatur

zurück zu Programmkennblätter

Strukturübersicht

Abgerufen von „https://wiki.baw.de/de/index.php?title=NCAGGREGATE&oldid=36130“