Aktionen

Datei

Baustein 3 Fischschleusen.pdf und NCPOLO: Unterschied zwischen den Seiten

Aus BAWiki

(Unterschied zwischen Seiten)
imported>BAWiki Glossar
 
imported>Hagen Robert
K
 
Zeile 1: Zeile 1:
[[Kategorie:BAWBriefe]]
+
{{Programmkennblatt
 +
|name_en=NCPOLO
 +
|name=NCPOLO
 +
|version=Mai 2019
 +
|version_beschr=Mai 2019
 +
|stichworte=Postprozessor<br />
 +
Differenzen für synoptische Daten <br />
 +
Locations <br />
 +
Zeitreihen <br />
 +
Scatterplots <br />
 +
Hodograph <br />
 +
Modellskill <br />
 +
Statistik <br />
 +
Parallelisiert <br />
 +
 
 +
|kurzbeschreibung=
 +
[[NCPOLO]] (siehe auch [[NCPOLO.DAT|ncpolo.dat]]) hat seinen Anwendungsschwerpunkt in der Modellvalidierung. Durch das Zusammenfassen validierungstypischer Darstellungen, Skillscores und diverser Exportmöglichkeiten in einem Programm wird ein Messung-Modell-Vergleich schnell und einfach erstellt. Um den Vergleich von Mess- und Modelldaten anzustellen, korreliert [[NCPOLO]] alle punktuell vorliegenden Messdaten (als [[CF-NETCDF.NC|cf-netcdf.nc]]) mit der flächigen, gechunkten, 2D [[UNTRIM2]] bzw. [[UNK]] Ergebnisdatei. Die Zuordnung der physikalischen Größen erfolgt hierbei vollautomatisch. Bei der Differenzenbildung bildet [[NCPOLO]] stets: '''Messung – Modell'''.
 +
<br />
 +
Anfordungen an die Messdaten:
 +
# Müssen als [[CF-NETCDF.NC|cf-netcdf.nc]] vorliegen (idealerweise zusammengefasst).
 +
# Sollten idealerweise nur eine physikalische Größe enthalten.
 +
# Zum Preprocessing von [[BOEWRT.DAT]] Daten sollte [[BOE2NC]] verwendet werden.
 +
# Die [[BOEWRT.DAT]] Header müssen alle notwendigen Informationen enthalten (Zeitzone, Koordinatensystem, Koordinaten, ...).
 +
# Die Messdaten sollten geprüft sein. Eine Prüfung des Wertebereichs wird nicht vorgenommen.
 +
<br />
 +
Anforderungen an die Modelldaten:
 +
# Die Ergebnisdatei '''muss''' flächig vorliegen.
 +
# Die Ergebnisdatei '''muss''' 2D-Daten enthalten.
 +
# Die Ergebnisdatei '''sollte''' gechunkt sein. Dafür kann [[NCCHUNKIE]] verwendet werden. Der Zeitgewinn bei einer gechunkten Datei liegt etwa bei Faktor 125.
 +
<br />
 +
Mögliche Darstellungen mit [[NCPOLO]]:
 +
# Zeitreihen (komplett, Detailzeiträume)
 +
# Scatterplots (nach Dichte eingefärbt, einfarbig)
 +
# Hodographen der Strömung (nach Dichte eingefärbt, einfarbig)
 +
# Boxplot-Fehlerverteilung
 +
# Statistikverteilung (33 wählbare Parameter)
 +
 
 +
<gallery>
 +
ts.wasserstand.png|Beispielhafter Detailplot Wasserstand
 +
Scatterplot.Salzgehalt.DE.png|Beispielhafter Scatterplot Salzgehalt
 +
hodograph.stroemung.png|Beispielhafter Hodograph Strömung
 +
boxall.wasserstand.png|Beispielhafte Boxplot-Fehlerverteilung Wasserstand
 +
Fehler.Bar.png|Beispielhafte Statistikverteilung als Balkendiagramm
 +
</gallery>
 +
 
 +
Mögliche Fehlerquellen:
 +
# Die Messdaten liegen nicht im Modellgebiet (z.B. falsches Koordinatensystem in den Messdaten angegeben).
 +
# Der Toleranzradius für die räumliche Zuordnung ist zu klein gewählt.
 +
# Die Toleranz für die zeitliche Zuordnung ist zu klein gewählt.
 +
<br />
 +
Anmerkungen
 +
# Der Messstationsname wird aus der [[BOEWRT.DAT]] Datei für alle Outputs verwendet. Es ist also von Vorteil diesen '''kurz''' zu wählen.
 +
# Für die Statistikausgabe werden MAE, RMSE, bzw. RMAE und RRMSE empfohlen.
 +
# Da es möglich ist mehrsprachig (deutsch, englisch) mit mehreren Ausgabeformaten (.png, .fig, .eps, .pdf) zu arbeiten, ergibt sich sehr schnell eine extrem große Menge an Bildern (>1.000). Der Nutzer sollte sich entsprechend vorher überlegen, welche Darstellungen überhaupt in welchen Formaten benötigt werden.
 +
 
 +
|eingabedateien=
 +
# '''allgemeine Eingabedaten''' (Dateityp [[NCPOLO.DAT|ncpolo.dat]]);
 +
# '''Modelldaten''', aus [[UNTRIM2007]], [[UNTRIM2]] und [[UNK]] (Dateityp [[CF-NETCDF.NC|cf-netcdf.nc]]);
 +
# '''Messdaten''', z. B. Wasserstand (Dateityp [[CF-NETCDF.NC|cf-netcdf.nc]]);
 +
 
 +
|ausgabedateien= 
 +
# Datei mit '''Informationen zum Programmablauf''' (Dateityp ncpolo.sdr)
 +
# (optional) Zeitreihen (Dateityp PNG, FIG, EPS, FIG)
 +
# (optional) Scatterplot (Dateityp PNG, FIG, EPS, FIG)
 +
# (optional) Hodograph (Dateityp PNG, FIG, EPS, FIG)
 +
# (optional) Boxplotverteilung (Dateityp PNG, FIG, EPS, FIG)
 +
# (optional) Statistikverteilung (Dateityp PNG, FIG, EPS, FIG)
 +
# (optional) Statistische Kennwerte (Dateityp DAT, CSV, LATEX)
 +
# (optional) Zeitlich und örtlich korrelierte Daten (Dateityp DAT, CSV, [[BOEWRT.DAT]], MAT)
 +
 
 +
|methode=
 +
Das Programm wurde mit MATLAB erstellt und mit PROGHOME Methoden ergänzt. Der Programmablauf wird nachfolgend skizziert:
 +
 
 +
# Lesen der Steuerdatei des Anwenders.
 +
# Festlegen der zu bearbeitenden physikalischen Größen.
 +
# Äußere Schleife (parallelisiert): Je physikalischer Größe:
 +
## Check: Existieren Messdaten für diese physikalische Größe?
 +
## Check: Sollen Plots erstellt werden und wenn ja welche?
 +
## Check: Sollen Daten exportiert werden und wenn ja welche?
 +
## Wenn 1 und 2 und/oder 3 zutreffend sind: Einladen der Messdaten der physikalischen Größe.
 +
### Innere Schleife: Je Messposition (seriell):
 +
### Korrelation von punktuell vorliegenden Messdaten auf die flächige 2D Ergebnisdatei
 +
### Check: Liegt die Position innerhalb des vorgegeben, maximalen Abstands ''maxDist''?
 +
### Falls ja, wird das flächige Modellergebnis am räumlich nächsten Index (Face oder Edge) ausgelesen.
 +
### Check: Fällt die ausgelesene nächste Position trocken?
 +
### Falls ja, Auslesen der nächstnäheren Position, bis ''minPoints'' erreicht ist, oder der Punkt nicht mehr trockenfällt.
 +
### Check: Existieren gemeinsame Zeitpunkte innerhalb der Zeittoleranz ''ttol''?
 +
### Falls ja, werden alle gemeinsamen Zeitpunkte für diese Position ermittelt und gespeichert.
 +
### Aus diesen Zeitpunkten wird die [[NCPOLO]] Statistik berechnet.
 +
### Alle eben ermittelten Werte werden abgespeichert -danach wird die nächste Position analog bearbeitet.
 +
# Alle vom Nutzer gewünschten Grafiken werden erzeugt (parallelisiert).
 +
# Die Grafiken werden im nutzerdefinierten Format abgespeichert und in einer Verzeichnisstruktur im nutzerdefinierten Export Directory abgelegt.
 +
# Alle vom Nutzer gewünschten Möglichkeiten zum Datenexport und Statistikexport werden erzeugt.
 +
# Die Daten werden im nutzerdefinierten Format abgespeichert und in einer Verzeichnisstruktur im nutzerdefinierten Export Pfad abgelegt.
 +
 
 +
|preprozessor=[[DATACONVERT]], [[ZEITRIO]], [[BOE2NC]], [[UNTRIM2007]], [[UNTRIM2]], [[SEDIMORPH]], [[UNK]], [[NCCHUNKIE]]
 +
|postprozessor=[[MATLAB]], [[EXCEL]]
 +
|programmiersprache=MATLAB r2018b
 +
|zus_software= keine
 +
|kontakt_original=[mailto:robert.hagen@baw.de R. Hagen],[mailto:maurice.jurke@baw.de M. Jurke]
 +
|kontakt_pflege=[mailto:robert.hagen@baw.de R. Hagen]
 +
|dokumentation=
 +
* Musterdateien:
 +
** Musterdateien finden sich in '''$PROGHOME/examples/ncpolo/'''
 +
}}

Version vom 8. Mai 2019, 12:10 Uhr

Basisinformationen

Programm-Name

NCPOLO

Version

Mai 2019

Beschreibung

Mai 2019

Stichworte

Postprozessor
Differenzen für synoptische Daten
Locations
Zeitreihen
Scatterplots
Hodograph
Modellskill
Statistik
Parallelisiert

Kurzbeschreibung

NCPOLO (siehe auch ncpolo.dat) hat seinen Anwendungsschwerpunkt in der Modellvalidierung. Durch das Zusammenfassen validierungstypischer Darstellungen, Skillscores und diverser Exportmöglichkeiten in einem Programm wird ein Messung-Modell-Vergleich schnell und einfach erstellt. Um den Vergleich von Mess- und Modelldaten anzustellen, korreliert NCPOLO alle punktuell vorliegenden Messdaten (als cf-netcdf.nc) mit der flächigen, gechunkten, 2D UNTRIM2 bzw. UNK Ergebnisdatei. Die Zuordnung der physikalischen Größen erfolgt hierbei vollautomatisch. Bei der Differenzenbildung bildet NCPOLO stets: Messung – Modell.


Anfordungen an die Messdaten:

  1. Müssen als cf-netcdf.nc vorliegen (idealerweise zusammengefasst).
  2. Sollten idealerweise nur eine physikalische Größe enthalten.
  3. Zum Preprocessing von BOEWRT.DAT Daten sollte BOE2NC verwendet werden.
  4. Die BOEWRT.DAT Header müssen alle notwendigen Informationen enthalten (Zeitzone, Koordinatensystem, Koordinaten, ...).
  5. Die Messdaten sollten geprüft sein. Eine Prüfung des Wertebereichs wird nicht vorgenommen.

Anforderungen an die Modelldaten:

  1. Die Ergebnisdatei muss flächig vorliegen.
  2. Die Ergebnisdatei muss 2D-Daten enthalten.
  3. Die Ergebnisdatei sollte gechunkt sein. Dafür kann NCCHUNKIE verwendet werden. Der Zeitgewinn bei einer gechunkten Datei liegt etwa bei Faktor 125.

Mögliche Darstellungen mit NCPOLO:

  1. Zeitreihen (komplett, Detailzeiträume)
  2. Scatterplots (nach Dichte eingefärbt, einfarbig)
  3. Hodographen der Strömung (nach Dichte eingefärbt, einfarbig)
  4. Boxplot-Fehlerverteilung
  5. Statistikverteilung (33 wählbare Parameter)

Mögliche Fehlerquellen:

  1. Die Messdaten liegen nicht im Modellgebiet (z.B. falsches Koordinatensystem in den Messdaten angegeben).
  2. Der Toleranzradius für die räumliche Zuordnung ist zu klein gewählt.
  3. Die Toleranz für die zeitliche Zuordnung ist zu klein gewählt.

Anmerkungen

  1. Der Messstationsname wird aus der BOEWRT.DAT Datei für alle Outputs verwendet. Es ist also von Vorteil diesen kurz zu wählen.
  2. Für die Statistikausgabe werden MAE, RMSE, bzw. RMAE und RRMSE empfohlen.
  3. Da es möglich ist mehrsprachig (deutsch, englisch) mit mehreren Ausgabeformaten (.png, .fig, .eps, .pdf) zu arbeiten, ergibt sich sehr schnell eine extrem große Menge an Bildern (>1.000). Der Nutzer sollte sich entsprechend vorher überlegen, welche Darstellungen überhaupt in welchen Formaten benötigt werden.

Eingabe-Dateien

  1. allgemeine Eingabedaten (Dateityp ncpolo.dat);
  2. Modelldaten, aus UNTRIM2007, UNTRIM2 und UNK (Dateityp cf-netcdf.nc);
  3. Messdaten, z. B. Wasserstand (Dateityp cf-netcdf.nc);

Ausgabe-Dateien

  1. Datei mit Informationen zum Programmablauf (Dateityp ncpolo.sdr)
  2. (optional) Zeitreihen (Dateityp PNG, FIG, EPS, FIG)
  3. (optional) Scatterplot (Dateityp PNG, FIG, EPS, FIG)
  4. (optional) Hodograph (Dateityp PNG, FIG, EPS, FIG)
  5. (optional) Boxplotverteilung (Dateityp PNG, FIG, EPS, FIG)
  6. (optional) Statistikverteilung (Dateityp PNG, FIG, EPS, FIG)
  7. (optional) Statistische Kennwerte (Dateityp DAT, CSV, LATEX)
  8. (optional) Zeitlich und örtlich korrelierte Daten (Dateityp DAT, CSV, BOEWRT.DAT, MAT)

Methode

Das Programm wurde mit MATLAB erstellt und mit PROGHOME Methoden ergänzt. Der Programmablauf wird nachfolgend skizziert:

  1. Lesen der Steuerdatei des Anwenders.
  2. Festlegen der zu bearbeitenden physikalischen Größen.
  3. Äußere Schleife (parallelisiert): Je physikalischer Größe:
    1. Check: Existieren Messdaten für diese physikalische Größe?
    2. Check: Sollen Plots erstellt werden und wenn ja welche?
    3. Check: Sollen Daten exportiert werden und wenn ja welche?
    4. Wenn 1 und 2 und/oder 3 zutreffend sind: Einladen der Messdaten der physikalischen Größe.
      1. Innere Schleife: Je Messposition (seriell):
      2. Korrelation von punktuell vorliegenden Messdaten auf die flächige 2D Ergebnisdatei
      3. Check: Liegt die Position innerhalb des vorgegeben, maximalen Abstands maxDist?
      4. Falls ja, wird das flächige Modellergebnis am räumlich nächsten Index (Face oder Edge) ausgelesen.
      5. Check: Fällt die ausgelesene nächste Position trocken?
      6. Falls ja, Auslesen der nächstnäheren Position, bis minPoints erreicht ist, oder der Punkt nicht mehr trockenfällt.
      7. Check: Existieren gemeinsame Zeitpunkte innerhalb der Zeittoleranz ttol?
      8. Falls ja, werden alle gemeinsamen Zeitpunkte für diese Position ermittelt und gespeichert.
      9. Aus diesen Zeitpunkten wird die NCPOLO Statistik berechnet.
      10. Alle eben ermittelten Werte werden abgespeichert -danach wird die nächste Position analog bearbeitet.
  4. Alle vom Nutzer gewünschten Grafiken werden erzeugt (parallelisiert).
  5. Die Grafiken werden im nutzerdefinierten Format abgespeichert und in einer Verzeichnisstruktur im nutzerdefinierten Export Directory abgelegt.
  6. Alle vom Nutzer gewünschten Möglichkeiten zum Datenexport und Statistikexport werden erzeugt.
  7. Die Daten werden im nutzerdefinierten Format abgespeichert und in einer Verzeichnisstruktur im nutzerdefinierten Export Pfad abgelegt.

Vorlauf-Programme

DATACONVERT, ZEITRIO, BOE2NC, UNTRIM2007, UNTRIM2, SEDIMORPH, UNK, NCCHUNKIE

Nachlauf-Programme

MATLAB, EXCEL

Weitere Informationen

Programmiersprache

MATLAB r2018b

zusätzliche Software

keine

Originalversion

R. Hagen,M. Jurke

Programmpflege

R. Hagen

Dokumentation/Literatur

  • Musterdateien:
    • Musterdateien finden sich in $PROGHOME/examples/ncpolo/

zurück zu Programmkennblätter


Strukturübersicht

Dateiversionen

Klicke auf einen Zeitpunkt, um diese Version zu laden.

Version vomVorschaubildMaßeBenutzerKommentar
aktuell07:38, 25. Sep. 2019
Fehler beim Erstellen des Vorschaubildes: /bin/bash: /usr/bin/convert: No such file or directory GPL Ghostscript 9.26: Unrecoverable error, exit code 1
7.021 × 4.966, 2 Seiten (33 KB)Maintenance script (Diskussion | Beiträge)
  • Du kannst diese Datei nicht überschreiben.

Die folgende Seite verwendet diese Datei:

Metadaten