Aktionen

NCPOLO: Unterschied zwischen den Versionen

Aus BAWiki

imported>Hagen Robert
imported>Hagen Robert
K
 
(6 dazwischenliegende Versionen desselben Benutzers werden nicht angezeigt)
Zeile 2: Zeile 2:
 
|name_en=NCPOLO
 
|name_en=NCPOLO
 
|name=NCPOLO
 
|name=NCPOLO
|version=Mai 2019
+
|version=August 2019
|version_beschr=Mai 2019
+
|version_beschr=August 2019
 
|stichworte=Postprozessor<br />
 
|stichworte=Postprozessor<br />
 
Differenzen für synoptische Daten <br />
 
Differenzen für synoptische Daten <br />
Zeile 15: Zeile 15:
  
 
|kurzbeschreibung=
 
|kurzbeschreibung=
[[NCPOLO]] (siehe auch [[NCPOLO.DAT|ncpolo.dat]]) hat seinen Anwendungsschwerpunkt in der Modellvalidierung. Durch das Zusammenfassen validierungstypischer Darstellungen, Skillscores und diverser Exportmöglichkeiten in einem Programm wird ein Messung-Modell-Vergleich schnell und einfach erstellt. Um den Vergleich von Mess- und Modelldaten anzustellen, korreliert [[NCPOLO]] alle punktuell vorliegenden Messdaten (als [[CF-NETCDF.NC|cf-netcdf.nc]]) mit der flächigen, gechunkten, 2D [[UNTRIM2]] bzw. [[UNK]] Ergebnisdatei. Die Zuordnung der physikalischen Größen erfolgt hierbei vollautomatisch. Bei der Differenzenbildung bildet [[NCPOLO]] stets: '''Messung – Modell'''.
+
[[NCPOLO]] (siehe auch [[NCPOLO.DAT]]) hat seinen Anwendungsschwerpunkt in der Modellvalidierung. Durch das Zusammenfassen validierungstypischer Darstellungen, Skillscores und diverser Exportmöglichkeiten in einem Programm wird ein Messung-Modell-Vergleich schnell und einfach erstellt. Um den Vergleich von Mess- und Modelldaten anzustellen, müssen alle punktuell vorliegenden Messdaten (als [[CF-NETCDF.NC|cf-netcdf.nc]]) mit [[NCDELTA]] zeitlich und örtlich korreliert werden.
<br />
+
 
Anfordungen an die Messdaten:
+
Anmerkungen:
# Müssen als [[CF-NETCDF.NC|cf-netcdf.nc]] vorliegen (idealerweise zusammengefasst).
+
* Zum Preprocessing von [[BOEWRT.DAT]] Messdaten sollte [[BOE2NC]] verwendet werden.
# Sollten idealerweise nur eine physikalische Größe enthalten.
+
* Die [[BOEWRT.DAT]] Header müssen alle notwendigen Informationen enthalten (Zeitzone, Koordinatensystem, Koordinaten, ...).
# Zum Preprocessing von [[BOEWRT.DAT]] Daten sollte [[BOE2NC]] verwendet werden.
+
* Die Messdaten sollten geprüft sein. Eine Prüfung des Wertebereichs wird nicht vorgenommen.
# Die [[BOEWRT.DAT]] Header müssen alle notwendigen Informationen enthalten (Zeitzone, Koordinatensystem, Koordinaten, ...).
+
* Die Messdaten sollten ein-eindeutig sein, mehrere Messungen je Station sind '''nicht''' möglich.
# Die Messdaten sollten geprüft sein. Eine Prüfung des Wertebereichs wird nicht vorgenommen.
+
* Der Messstationsname wird aus dem long_name der Ergebnisdatei für alle Outputs verwendet. Es ist also von Vorteil diesen '''kurz''' zu wählen.
<br />
+
* Die Modelldaten können als 2D und 3D [[NCDELTA]] vorgegeben werden.
Anforderungen an die Modelldaten:
+
* [[NCDELTA]] '''muss''' mit der Option with_original_data = .true. durchgeführt werden
# Die Ergebnisdatei '''muss''' flächig vorliegen.
+
* Die Modelldaten (auch Locations) '''sollten''' gechunkt sein. Dafür kann [[NCCHUNKIE]] verwendet werden. Der Zeitgewinn bei einer gechunkten Datei liegt etwa bei Faktor 125-250.
# Die Ergebnisdatei '''muss''' 2D-Daten enthalten.
+
* Da es möglich ist mehrsprachig (deutsch, englisch) mit mehreren Ausgabeformaten (.png, .fig, .eps, .pdf) zu arbeiten, ergibt sich sehr schnell eine extrem große Menge an Bildern (>1.000). Der Nutzer sollte sich entsprechend vorher überlegen, welche Darstellungen überhaupt in welchen Formaten benötigt werden.
# Die Ergebnisdatei '''sollte''' gechunkt sein. Dafür kann [[NCCHUNKIE]] verwendet werden. Der Zeitgewinn bei einer gechunkten Datei liegt etwa bei Faktor 125.
+
 
<br />
+
 
Mögliche Darstellungen mit [[NCPOLO]]:
+
Ausgaben von [[NCPOLO]]:
# Zeitreihen (komplett, Detailzeiträume)
+
* Zeitreihen (komplett, Detailzeiträume)
# Scatterplots (nach Dichte eingefärbt, einfarbig)
+
* Scatterplots (nach Dichte eingefärbt, einfarbig)
# Hodographen der Strömung (nach Dichte eingefärbt, einfarbig)
+
* Hodographen der Strömung (nach Dichte eingefärbt, einfarbig)
# Boxplot-Fehlerverteilung
+
* Boxplot-Fehlerverteilung
# Statistikverteilung (33 wählbare Parameter)
+
* Statistikverteilung (33 wählbare Parameter)
 +
* Datenexport (je Pegel)
 +
* Statistikexport (je Pegel)
 +
* Statistikübersicht (alle Pegel)
  
 
<gallery>
 
<gallery>
Zeile 43: Zeile 46:
 
Fehler.Bar.png|Beispielhafte Statistikverteilung als Balkendiagramm
 
Fehler.Bar.png|Beispielhafte Statistikverteilung als Balkendiagramm
 
</gallery>
 
</gallery>
 
Mögliche Fehlerquellen:
 
# Die Messdaten liegen nicht im Modellgebiet (z.B. falsches Koordinatensystem in den Messdaten angegeben).
 
# Der Toleranzradius für die räumliche Zuordnung ist zu klein gewählt.
 
# Die Toleranz für die zeitliche Zuordnung ist zu klein gewählt.
 
<br />
 
Anmerkungen
 
# Der Messstationsname wird aus der [[BOEWRT.DAT]] Datei für alle Outputs verwendet. Es ist also von Vorteil diesen '''kurz''' zu wählen.
 
# Für die Statistikausgabe werden MAE, RMSE, bzw. RMAE und RRMSE empfohlen.
 
# Da es möglich ist mehrsprachig (deutsch, englisch) mit mehreren Ausgabeformaten (.png, .fig, .eps, .pdf) zu arbeiten, ergibt sich sehr schnell eine extrem große Menge an Bildern (>1.000). Der Nutzer sollte sich entsprechend vorher überlegen, welche Darstellungen überhaupt in welchen Formaten benötigt werden.
 
  
 
|eingabedateien=
 
|eingabedateien=
# '''allgemeine Eingabedaten''' (Dateityp [[NCPOLO.DAT|ncpolo.dat]]);
+
* '''allgemeine Eingabedaten''' (Dateityp [[NCPOLO.DAT]]);
# '''Modelldaten''', aus [[UNTRIM2007]], [[UNTRIM2]] und [[UNK]] (Dateityp [[CF-NETCDF.NC|cf-netcdf.nc]]);
 
# '''Messdaten''', z. B. Wasserstand (Dateityp [[CF-NETCDF.NC|cf-netcdf.nc]]);
 
  
 
|ausgabedateien=   
 
|ausgabedateien=   
# Datei mit '''Informationen zum Programmablauf''' (Dateityp ncpolo.sdr)
+
* Datei mit '''Informationen zum Programmablauf''' (Dateityp ncpolo.sdr)
# (optional) Zeitreihen (Dateityp PNG, FIG, EPS, FIG)
+
* Datei mit '''Fehlern und Warnungen''' (Dateityp ncpolo.err)
# (optional) Scatterplot (Dateityp PNG, FIG, EPS, FIG)
+
* (optional) Zeitreihen (Dateityp PNG, FIG, EPS, FIG)
# (optional) Hodograph (Dateityp PNG, FIG, EPS, FIG)
+
* (optional) Scatterplot (Dateityp PNG, FIG, EPS, FIG)
# (optional) Boxplotverteilung (Dateityp PNG, FIG, EPS, FIG)
+
* (optional) Hodograph (Dateityp PNG, FIG, EPS, FIG)
# (optional) Statistikverteilung (Dateityp PNG, FIG, EPS, FIG)
+
* (optional) Boxplotverteilung (Dateityp PNG, FIG, EPS, FIG)
# (optional) Statistische Kennwerte (Dateityp DAT, CSV, LATEX)
+
* (optional) Statistikverteilung (Dateityp PNG, FIG, EPS, FIG)
# (optional) Zeitlich und örtlich korrelierte Daten (Dateityp DAT, CSV, [[BOEWRT.DAT]], MAT)
+
* (optional) Statistische Kennwerte (Dateityp DAT, CSV, LATEX)
 +
* (optional) Zeitlich und örtlich korrelierte Daten (Dateityp DAT, CSV, MAT)
 +
* (optional) Statistikübersicht (Dateityp DAT, CSV, MAT)
  
 
|methode=
 
|methode=
Das Programm wurde mit MATLAB erstellt und mit PROGHOME Methoden ergänzt. Der Programmablauf wird nachfolgend skizziert:
+
Das Programm wurde mit [[MATLAB]] erstellt und mit [[PROGHOME]] Methoden ergänzt. Der Programmablauf wird nachfolgend skizziert:
 
+
# Lesen der Steuerdatei des Anwenders (Dictionary Check)
# Lesen der Steuerdatei des Anwenders.
+
# Plausibilitätschecks:
# Festlegen der zu bearbeitenden physikalischen Größen.
+
## Existenz der Eingabedateien
# Äußere Schleife: Je physikalischer Größe:
+
## Existenz der Eingabevariablen
## Check: Existieren Messdaten für diese physikalische Größe?
+
## Existenz von OCRef ([[NCDELTA]] with_original_data = .true.)
## Check: Sollen Plots erstellt werden und wenn ja welche?
+
## Existenz von Fraktionen
## Check: Sollen Daten exportiert werden und wenn ja welche?
+
## Existenz welcher Plottypen, Plausibilisierung der Eingabevariable dafür
## Wenn 1 und 2 und/oder 3 zutreffend sind: Einladen der Messdaten der physikalischen Größe.
+
## Ein-Eindeutigkeit der Stationen
### Innere Schleife: Je Messposition:
+
## Korrekte, chronologische Angabe der Detailzeiträume
### Korrelation von punktuell vorliegenden Messdaten auf die flächige 2D Ergebnisdatei
+
# Lesen der Formateinstellungen
### Check: Liegt die Position innerhalb des vorgegeben, maximalen Abstands ''maxDist''?
+
# Initialisieren des Parallelpools
### Falls ja, wird das flächige Modellergebnis am räumlich nächsten Index (Face oder Edge) ausgelesen.
+
# Ausgabe der [[NCPOLO]] Produkte (Daten auslesen, NaN aussortieren, 2D-3D Fallunterscheidung, Statistik berechnen)
### Check: Fällt die ausgelesene nächste Position trocken?
+
## Zeitreihenausgabe
### Falls ja, Auslesen der nächstnäheren Position, bis ''minPoints'' erreicht ist, oder der Punkt nicht mehr trockenfällt.
+
## Scatterplotausgabe
### Check: Existieren gemeinsame Zeitpunkte innerhalb der Zeittoleranz ''ttol''?
+
## Hodographausgabe
### Falls ja, werden alle gemeinsamen Zeitpunkte für diese Position ermittelt und gespeichert.
+
## Fehlerverteilungsausgabe
### Aus diesen Zeitpunkten wird die [[NCPOLO]] Statistik berechnet.
+
## Boxplotausgabe
### Alle eben ermittelten Werte werden abgespeichert -danach wird die nächste Position analog bearbeitet.
+
## Datenexportausgabe
# Alle vom Nutzer gewünschten Grafiken werden erzeugt.
+
## Statistikexportausgabe
# Die Grafiken werden im nutzerdefinierten Format abgespeichert und in einer Verzeichnisstruktur im nutzerdefinierten Export Directory abgelegt.
+
## Statistiküberblickexportausgabe
# Alle vom Nutzer gewünschten Möglichkeiten zum Datenexport und Statistikexport werden erzeugt.
+
# Programmabschluss
# Die Daten werden im nutzerdefinierten Format abgespeichert und in einer Verzeichnisstruktur im nutzerdefinierten Export Pfad abgelegt.
 
  
|preprozessor=[[DATACONVERT]], [[ZEITRIO]], [[BOE2NC]], [[UNTRIM2007]], [[UNTRIM2]], [[SEDIMORPH]], [[UNK]], [[NCCHUNKIE]]
+
|preprozessor=[[DATACONVERT]], [[ZEITRIO]], [[BOE2NC]], [[UNTRIM2007]], [[UNTRIM2]], [[SEDIMORPH]], [[UNK]], [[NCCHUNKIE]],[[NCDELTA]]
 
|postprozessor=[[MATLAB]], [[EXCEL]]
 
|postprozessor=[[MATLAB]], [[EXCEL]]
|programmiersprache=MATLAB
+
|programmiersprache=MATLAB r2018b
 
|zus_software= keine
 
|zus_software= keine
|kontakt_original=[mailto:robert.hagen@baw.de R. Hagen],[mailto:maurice.jurke@baw.de M. Jurke]
+
|kontakt_original=[mailto:robert.hagen@baw.de R. Hagen]
 
|kontakt_pflege=[mailto:robert.hagen@baw.de R. Hagen]
 
|kontakt_pflege=[mailto:robert.hagen@baw.de R. Hagen]
 
|dokumentation=
 
|dokumentation=

Aktuelle Version vom 14. August 2019, 05:36 Uhr

Basisinformationen

Programm-Name

NCPOLO

Version

August 2019

Beschreibung

August 2019

Stichworte

Postprozessor
Differenzen für synoptische Daten
Locations
Zeitreihen
Scatterplots
Hodograph
Modellskill
Statistik
Parallelisiert

Kurzbeschreibung

NCPOLO (siehe auch NCPOLO.DAT) hat seinen Anwendungsschwerpunkt in der Modellvalidierung. Durch das Zusammenfassen validierungstypischer Darstellungen, Skillscores und diverser Exportmöglichkeiten in einem Programm wird ein Messung-Modell-Vergleich schnell und einfach erstellt. Um den Vergleich von Mess- und Modelldaten anzustellen, müssen alle punktuell vorliegenden Messdaten (als cf-netcdf.nc) mit NCDELTA zeitlich und örtlich korreliert werden.

Anmerkungen:

  • Zum Preprocessing von BOEWRT.DAT Messdaten sollte BOE2NC verwendet werden.
  • Die BOEWRT.DAT Header müssen alle notwendigen Informationen enthalten (Zeitzone, Koordinatensystem, Koordinaten, ...).
  • Die Messdaten sollten geprüft sein. Eine Prüfung des Wertebereichs wird nicht vorgenommen.
  • Die Messdaten sollten ein-eindeutig sein, mehrere Messungen je Station sind nicht möglich.
  • Der Messstationsname wird aus dem long_name der Ergebnisdatei für alle Outputs verwendet. Es ist also von Vorteil diesen kurz zu wählen.
  • Die Modelldaten können als 2D und 3D NCDELTA vorgegeben werden.
  • NCDELTA muss mit der Option with_original_data = .true. durchgeführt werden
  • Die Modelldaten (auch Locations) sollten gechunkt sein. Dafür kann NCCHUNKIE verwendet werden. Der Zeitgewinn bei einer gechunkten Datei liegt etwa bei Faktor 125-250.
  • Da es möglich ist mehrsprachig (deutsch, englisch) mit mehreren Ausgabeformaten (.png, .fig, .eps, .pdf) zu arbeiten, ergibt sich sehr schnell eine extrem große Menge an Bildern (>1.000). Der Nutzer sollte sich entsprechend vorher überlegen, welche Darstellungen überhaupt in welchen Formaten benötigt werden.


Ausgaben von NCPOLO:

  • Zeitreihen (komplett, Detailzeiträume)
  • Scatterplots (nach Dichte eingefärbt, einfarbig)
  • Hodographen der Strömung (nach Dichte eingefärbt, einfarbig)
  • Boxplot-Fehlerverteilung
  • Statistikverteilung (33 wählbare Parameter)
  • Datenexport (je Pegel)
  • Statistikexport (je Pegel)
  • Statistikübersicht (alle Pegel)

Eingabe-Dateien

Ausgabe-Dateien

  • Datei mit Informationen zum Programmablauf (Dateityp ncpolo.sdr)
  • Datei mit Fehlern und Warnungen (Dateityp ncpolo.err)
  • (optional) Zeitreihen (Dateityp PNG, FIG, EPS, FIG)
  • (optional) Scatterplot (Dateityp PNG, FIG, EPS, FIG)
  • (optional) Hodograph (Dateityp PNG, FIG, EPS, FIG)
  • (optional) Boxplotverteilung (Dateityp PNG, FIG, EPS, FIG)
  • (optional) Statistikverteilung (Dateityp PNG, FIG, EPS, FIG)
  • (optional) Statistische Kennwerte (Dateityp DAT, CSV, LATEX)
  • (optional) Zeitlich und örtlich korrelierte Daten (Dateityp DAT, CSV, MAT)
  • (optional) Statistikübersicht (Dateityp DAT, CSV, MAT)

Methode

Das Programm wurde mit MATLAB erstellt und mit PROGHOME Methoden ergänzt. Der Programmablauf wird nachfolgend skizziert:

  1. Lesen der Steuerdatei des Anwenders (Dictionary Check)
  2. Plausibilitätschecks:
    1. Existenz der Eingabedateien
    2. Existenz der Eingabevariablen
    3. Existenz von OCRef (NCDELTA with_original_data = .true.)
    4. Existenz von Fraktionen
    5. Existenz welcher Plottypen, Plausibilisierung der Eingabevariable dafür
    6. Ein-Eindeutigkeit der Stationen
    7. Korrekte, chronologische Angabe der Detailzeiträume
  3. Lesen der Formateinstellungen
  4. Initialisieren des Parallelpools
  5. Ausgabe der NCPOLO Produkte (Daten auslesen, NaN aussortieren, 2D-3D Fallunterscheidung, Statistik berechnen)
    1. Zeitreihenausgabe
    2. Scatterplotausgabe
    3. Hodographausgabe
    4. Fehlerverteilungsausgabe
    5. Boxplotausgabe
    6. Datenexportausgabe
    7. Statistikexportausgabe
    8. Statistiküberblickexportausgabe
  6. Programmabschluss

Vorlauf-Programme

DATACONVERT, ZEITRIO, BOE2NC, UNTRIM2007, UNTRIM2, SEDIMORPH, UNK, NCCHUNKIE,NCDELTA

Nachlauf-Programme

MATLAB, EXCEL

Weitere Informationen

Programmiersprache

MATLAB r2018b

zusätzliche Software

keine

Originalversion

R. Hagen

Programmpflege

R. Hagen

Dokumentation/Literatur

  • Musterdateien:
    • Musterdateien finden sich in $PROGHOME/examples/ncpolo/

zurück zu Programmkennblätter


Strukturübersicht