Aktionen

NCPOLO: Unterschied zwischen den Versionen

Aus BAWiki

imported>Hagen Robert
Keine Bearbeitungszusammenfassung
(NCDVAR als Preprocessor ergänzt)
(17 dazwischenliegende Versionen von einem anderen Benutzer werden nicht angezeigt)
Zeile 2: Zeile 2:
|name_en=NCPOLO
|name_en=NCPOLO
|name=NCPOLO
|name=NCPOLO
|version=Mai 2019
|version=August 2019
|version_beschr=Mai 2019
|version_beschr=März 2020
|stichworte=Postprozessor<br />
|stichworte=Postprozessor<br />
Differenzen für synoptische Daten <br />
Differenzen für synoptische Daten <br />
Zeile 15: Zeile 15:


|kurzbeschreibung=
|kurzbeschreibung=
[[NCPOLO]] ([[NCPOLO.dat]]) hat seinen Anwendungsschwerpunkt in der Modellvalidierung. Durch das Zusammenfassen validierungstypischer Darstellungstypen, Skillscores und diverser Exportmöglichkeiten in einem Programm wird ein Messung-Modell-Vergleich schnell und einfach erstellt. Um den Vergleich von Mess- und Modelldaten anzustellen, korreliert [[NCPOLO]] alle punktuell vorliegenden Messdaten (als [[CF-NETCDF.NC|cf-netcdf.nc]]) mit der flächigen, gechunkten, 2D [[UNTRIM2]] bzw. [[UNK]] Ergebnisdatei. Die Zuordnung der physikalischen Größen erfolgt hierbei vollautomatisch. Bei der Differenzenbildung bildet [[NCPOLO]] stets: '''Messung – Modell'''.
[[NCPOLO]] (siehe auch [[NCPOLO.DAT]]) hat seinen Anwendungsschwerpunkt in der Modellvalidierung. Durch das Zusammenfassen validierungstypischer Darstellungen, Skillscores und diverser Exportmöglichkeiten in einem Programm wird ein Messung-Modell-Vergleich schnell und einfach erstellt. Um den Vergleich von Mess- und Modelldaten anzustellen, müssen alle punktuell vorliegenden Messdaten (als [[CF-NETCDF.NC|cf-netcdf.nc]]) mit [[NCDELTA]] zeitlich und örtlich korreliert werden.
<br />
 
Anfordungen an die Messdaten:
Anmerkungen:
# Müssen als [[CF-NETCDF.NC|cf-netcdf.nc]] vorliegen (idealerweise zusammengefasst)
* Zum Preprocessing von [[BOEWRT.DAT]] Messdaten sollte [[BOE2NC]] verwendet werden.
# Sollten idealerweise nur eine physikalische Größe enthalten
* Die [[BOEWRT.DAT]] Header müssen alle notwendigen Informationen enthalten (Zeitzone, Koordinatensystem, Koordinaten, ...).
# Zum Preprocessing von [[BOEWRT.DAT]] Daten sollte [[BOE2NC]] verwendet werden.
* Die Messdaten sollten geprüft sein. Eine Prüfung des Wertebereichs wird nicht vorgenommen.
# Die [[BOEWRT.DAT]] Daten sollten alle Informationen enthalten (Zeitzone, Koordinatensystem, Koordinaten, ...)
* Die Messdaten sollten ein-eindeutig sein, mehrere Messungen je Station sind '''nicht''' möglich.
# Die Messdaten sollten geprüft sein. Eine Prüfung des Wertebereichs wird nicht vorgenommen.
* Der Messstationsname wird aus dem long_name der Ergebnisdatei für alle Outputs verwendet. Es ist also von Vorteil diesen '''kurz''' zu wählen.
<br />
* Die Modelldaten können als 2D und 3D [[NCDELTA]] vorgegeben werden.
Anforderungen an die Modelldaten:
* [[NCDELTA]] '''muss''' mit der Option with_original_data = .true. durchgeführt werden
# Die Ergebnisdatei sollte flächig vorliegen.
* Die Modelldaten (auch Locations) '''sollten''' gechunkt sein. Dafür kann [[NCCHUNKIE]] verwendet werden. Der Zeitgewinn bei einer gechunkten Datei liegt etwa bei Faktor 125-250.
# Die Ergebnisdatei '''muss''' 2D-Daten enthalten.
* Da es möglich ist mehrsprachig (deutsch, englisch) mit mehreren Ausgabeformaten (.png, .fig, .eps, .pdf) zu arbeiten, ergibt sich sehr schnell eine extrem große Menge an Bildern (>1.000). Der Nutzer sollte sich entsprechend vorher überlegen, welche Darstellungen überhaupt in welchen Formaten benötigt werden.
# Die Ergebnisdatei sollte gechunkt sein. Dafür kann [[NCCHUNKIE]] verwendet werden. Der Zeitgewinn bei einer gechunkten Datei liegt etwa bei Faktor 125.
 
<br />
 
Mögliche Darstellungen mit [[NCPOLO]]:
Ausgaben von [[NCPOLO]]:
# Zeitreihen (komplett, Detailzeiträume)
* Zeitreihen (komplett, Detailzeiträume)
# Scatterplots (nach Dichte eingefärbt, einfarbig)
* Scatterplots (nach Dichte eingefärbt, einfarbig)
# Hodographen der Strömung (nach Dichte eingefärbt, einfarbig)
* Hodographen der Strömung (nach Dichte eingefärbt, einfarbig)
# Boxplot-Fehlerverteilung
* Boxplot-Fehlerverteilung
# Statistikverteilung (33 wählbare Parameter)
* Statistikverteilung (33 wählbare Parameter)
<br />
* Datenexport (je Pegel)
Mögliche Fehlerquellen:
* Statistikexport (je Pegel)
# Die Messdaten liegen nicht im Modellgebiet (z.B. falsches Koordinatensystem in den Messdaten angegeben).
* Statistikübersicht (alle Pegel)
# Der Toleranzradius für die räumliche Zuordnung ist zu klein gewählt.
 
# Die zeitliche Toleranz für die zeitliche Zuordnung ist zu klein gewählt.
<gallery>
<br />
ts.wasserstand.png|Beispielhafter Detailplot Wasserstand
Anmerkungen
Scatterplot.Salzgehalt.DE.png|Beispielhafter Scatterplot Salzgehalt
# Der Messstationsname wird aus der [[BOEWRT.DAT]] Datei für alle Outputs verwendet. Es ist also von Vorteil diesen '''kurz''' zu wählen.
hodograph.stroemung.png|Beispielhafter Hodograph Strömung
# Für die Statistikausgabe werden MAE, RMSE, bzw. RMAE und RRMSE empfohlen.
boxall.wasserstand.png|Beispielhafte Boxplot-Fehlerverteilung Wasserstand
# Da es möglich ist mehrsprachig (deutsch, englisch) mit mehreren Ausgabeformaten (.png, .fig, .eps, .pdf) zu arbeiten, ergibt sich sehr schnell große Mengen an Bildern. Der Nutzer sollte sich entsprechend vorher überlegen, welche Darstellungen unbedingt benötigt werden.
Fehler.Bar.png|Beispielhafte Statistikverteilung als Balkendiagramm
</gallery>


|eingabedateien=
|eingabedateien=
# '''allgemeine Eingabedaten''' (Dateityp [[NCPOLO.DAT|ncpolo.dat]]);
* '''allgemeine Eingabedaten''' (Dateityp [[NCPOLO.DAT]]);
# '''Modelldaten''', aus [[UNTRIM2007]], [[UNTRIM2]] und [[UNK]] (Dateityp [[CF-NETCDF.NC|cf-netcdf.nc]]);
# '''Messdaten''', z. B. Wasserstand (Dateityp [[CF-NETCDF.NC|cf-netcdf.nc]]);


|ausgabedateien=   
|ausgabedateien=   
# Datei mit '''Informationen zum Programmablauf''' (Dateityp ncpolo.sdr)
* Datei mit '''Informationen zum Programmablauf''' (Dateityp ncpolo.sdr)
# (optional) Zeitreihen (Dateityp PNG, FIG, EPS, FIG)
* Datei mit '''Fehlern und Warnungen''' (Dateityp ncpolo.err)
# (optional) Scatterplot (Dateityp PNG, FIG, EPS, FIG)
* (optional) Zeitreihen (Dateityp PNG, FIG, EPS, FIG)
# (optional) Hodograph (Dateityp PNG, FIG, EPS, FIG)
* (optional) Scatterplot (Dateityp PNG, FIG, EPS, FIG)
# (optional) Boxplotverteilung (Dateityp PNG, FIG, EPS, FIG)
* (optional) Hodograph (Dateityp PNG, FIG, EPS, FIG)
# (optional) Statistikverteilung (Dateityp PNG, FIG, EPS, FIG)
* (optional) Boxplotverteilung (Dateityp PNG, FIG, EPS, FIG)
# (optional) Statistische Kennwerte (Dateityp DAT, CSV, LATEX)
* (optional) Statistikverteilung (Dateityp PNG, FIG, EPS, FIG)
# (optional) Zeitlich und örtlich korrelierte Daten (Dateityp DAT, CSV, [[BOEWRT.DAT]], MAT)
* (optional) Statistische Kennwerte (Dateityp DAT, CSV, LATEX)
* (optional) Zeitlich und örtlich korrelierte Daten (Dateityp DAT, CSV, MAT)
* (optional) Statistikübersicht (Dateityp DAT, CSV, MAT)


|methode=
|methode=
Das Programm wurde mit MATLAB erstellt und mit PROGHOME Methoden ergänzt. Der Pro-grammablauf wird nachfolgend skizziert:
Das Programm wurde mit [[MATLAB]] erstellt und mit [[PROGHOME]] Methoden ergänzt. Der Programmablauf wird nachfolgend skizziert:
 
# Lesen der Steuerdatei des Anwenders (Dictionary Check)
# Lesen der Steuerdatei des Anwenders.
# Plausibilitätschecks:
# Festlegen der zu bearbeitenden physikalischen Größen.
## Existenz der Eingabedateien
# Je physikalischer Größe:
## Existenz der Eingabevariablen
## Check: Existieren Messdaten für diese physikalische Größe?
## Existenz von OCRef ([[NCDELTA]] with_original_data = .true.)
## Check: Sollen Plots erstellt werden und wenn ja welche?
## Existenz von Fraktionen
## Check: Sollen Daten exportiert werden und wenn ja welche?
## Existenz welcher Plottypen, Plausibilisierung der Eingabevariable dafür
## Wenn 1 und 2 und/oder 3 zutreffend sind: Einladen der Messdaten der physikalischen Größe.
## Ein-Eindeutigkeit der Stationen
## Je Messposition:
## Korrekte, chronologische Angabe der Detailzeiträume
### Check: Liegt die Position im Modellgebiet?
# Lesen der Formateinstellungen
### Falls ja, wird das flächige Modellergebnis am räumlich nächsten Index (Face oder Edge) ausgelesen.
# Initialisieren des Parallelpools
### Check: Existieren gemeinsame Zeitpunkte?
# Ausgabe der [[NCPOLO]] Produkte (Daten auslesen, NaN aussortieren, 2D-3D Fallunterscheidung, Statistik berechnen)
### Falls ja, werden alle gemeinsamen Zeitpunkte für diese Position ermittelt und gespeichert.
## Zeitreihenausgabe
### Aus diesen Zeitpunkten wird die [[NCPOLO]] Statistik berechnet.
## Scatterplotausgabe
### Alle eben ermittelten Werte werden abgespeichert -danach wird die nächste Position analog bearbeitet.
## Hodographausgabe
# Alle vom Nutzer gewünschten Grafiken werden erzeugt.
## Fehlerverteilungsausgabe
# Die Grafiken werden im nutzerdefinierten Format abgespeichert und in einer Verzeichnisstruktur im nutzerdefinierten Export Directory abgelegt.
## Boxplotausgabe
# Alle vom Nutzer gewünschten Datenexport und Statistikexport Möglichkeiten werden erzeugt.
## Datenexportausgabe
# Die Daten werden im nutzerdefinierten Format abgespeichert und in einer Verzeichnisstruktur im nutzerdefinierten Export directory abgelegt.
## Statistikexportausgabe
## Statistiküberblickexportausgabe
# Programmabschluss


|preprozessor=[[DATACONVERT]], [[ZEITRIO]], [[BOE2NC]], [[UNTRIM2007]], [[UNTRIM2]], [[SEDIMORPH]], [[UNK]], [[NCCHUNKIE]]
|preprozessor=[[DATACONVERT]], [[ZEITRIO]], [[BOE2NC]], [[NCCHUNKIE]],[[NCDELTA]], [[NCDVAR]], [[UNTRIM2007]], [[UNTRIM2]], [[SEDIMORPH]], [[UNK]]
|postprozessor=[[MATLAB]], [[EXCEL]]
|postprozessor=[[MATLAB]], [[EXCEL]]
|programmiersprache=MATLAB
|programmiersprache=MATLAB r2018b
|zus_software= keine
|zus_software= keine
|kontakt_original=[mailto:robert.hagen@baw.de R. Hagen],[mailto:maurice.jurke@baw.de M. Jurke]
|kontakt_original=[mailto:robert.hagen@baw.de R. Hagen]
|kontakt_pflege=[mailto:robert.hagen@baw.de R. Hagen]
|kontakt_pflege=[mailto:robert.hagen@baw.de R. Hagen]
|dokumentation=
|dokumentation=

Version vom 16. März 2020, 12:34 Uhr

Basisinformationen

Programm-Name

NCPOLO

Version

August 2019

Beschreibung

März 2020

Stichworte

Postprozessor
Differenzen für synoptische Daten
Locations
Zeitreihen
Scatterplots
Hodograph
Modellskill
Statistik
Parallelisiert

Kurzbeschreibung

NCPOLO (siehe auch NCPOLO.DAT) hat seinen Anwendungsschwerpunkt in der Modellvalidierung. Durch das Zusammenfassen validierungstypischer Darstellungen, Skillscores und diverser Exportmöglichkeiten in einem Programm wird ein Messung-Modell-Vergleich schnell und einfach erstellt. Um den Vergleich von Mess- und Modelldaten anzustellen, müssen alle punktuell vorliegenden Messdaten (als cf-netcdf.nc) mit NCDELTA zeitlich und örtlich korreliert werden.

Anmerkungen:

  • Zum Preprocessing von BOEWRT.DAT Messdaten sollte BOE2NC verwendet werden.
  • Die BOEWRT.DAT Header müssen alle notwendigen Informationen enthalten (Zeitzone, Koordinatensystem, Koordinaten, ...).
  • Die Messdaten sollten geprüft sein. Eine Prüfung des Wertebereichs wird nicht vorgenommen.
  • Die Messdaten sollten ein-eindeutig sein, mehrere Messungen je Station sind nicht möglich.
  • Der Messstationsname wird aus dem long_name der Ergebnisdatei für alle Outputs verwendet. Es ist also von Vorteil diesen kurz zu wählen.
  • Die Modelldaten können als 2D und 3D NCDELTA vorgegeben werden.
  • NCDELTA muss mit der Option with_original_data = .true. durchgeführt werden
  • Die Modelldaten (auch Locations) sollten gechunkt sein. Dafür kann NCCHUNKIE verwendet werden. Der Zeitgewinn bei einer gechunkten Datei liegt etwa bei Faktor 125-250.
  • Da es möglich ist mehrsprachig (deutsch, englisch) mit mehreren Ausgabeformaten (.png, .fig, .eps, .pdf) zu arbeiten, ergibt sich sehr schnell eine extrem große Menge an Bildern (>1.000). Der Nutzer sollte sich entsprechend vorher überlegen, welche Darstellungen überhaupt in welchen Formaten benötigt werden.


Ausgaben von NCPOLO:

  • Zeitreihen (komplett, Detailzeiträume)
  • Scatterplots (nach Dichte eingefärbt, einfarbig)
  • Hodographen der Strömung (nach Dichte eingefärbt, einfarbig)
  • Boxplot-Fehlerverteilung
  • Statistikverteilung (33 wählbare Parameter)
  • Datenexport (je Pegel)
  • Statistikexport (je Pegel)
  • Statistikübersicht (alle Pegel)
  • Beispielhafter Detailplot Wasserstand

    Beispielhafter Detailplot Wasserstand

  • Beispielhafter Scatterplot Salzgehalt

    Beispielhafter Scatterplot Salzgehalt

  • Beispielhafter Hodograph Strömung

    Beispielhafter Hodograph Strömung

  • Beispielhafte Boxplot-Fehlerverteilung Wasserstand

    Beispielhafte Boxplot-Fehlerverteilung Wasserstand

  • Beispielhafte Statistikverteilung als Balkendiagramm

    Beispielhafte Statistikverteilung als Balkendiagramm

Eingabe-Dateien

Ausgabe-Dateien

  • Datei mit Informationen zum Programmablauf (Dateityp ncpolo.sdr)
  • Datei mit Fehlern und Warnungen (Dateityp ncpolo.err)
  • (optional) Zeitreihen (Dateityp PNG, FIG, EPS, FIG)
  • (optional) Scatterplot (Dateityp PNG, FIG, EPS, FIG)
  • (optional) Hodograph (Dateityp PNG, FIG, EPS, FIG)
  • (optional) Boxplotverteilung (Dateityp PNG, FIG, EPS, FIG)
  • (optional) Statistikverteilung (Dateityp PNG, FIG, EPS, FIG)
  • (optional) Statistische Kennwerte (Dateityp DAT, CSV, LATEX)
  • (optional) Zeitlich und örtlich korrelierte Daten (Dateityp DAT, CSV, MAT)
  • (optional) Statistikübersicht (Dateityp DAT, CSV, MAT)

Methode

Das Programm wurde mit MATLAB erstellt und mit PROGHOME Methoden ergänzt. Der Programmablauf wird nachfolgend skizziert:

  1. Lesen der Steuerdatei des Anwenders (Dictionary Check)
  2. Plausibilitätschecks:
    1. Existenz der Eingabedateien
    2. Existenz der Eingabevariablen
    3. Existenz von OCRef (NCDELTA with_original_data = .true.)
    4. Existenz von Fraktionen
    5. Existenz welcher Plottypen, Plausibilisierung der Eingabevariable dafür
    6. Ein-Eindeutigkeit der Stationen
    7. Korrekte, chronologische Angabe der Detailzeiträume
  3. Lesen der Formateinstellungen
  4. Initialisieren des Parallelpools
  5. Ausgabe der NCPOLO Produkte (Daten auslesen, NaN aussortieren, 2D-3D Fallunterscheidung, Statistik berechnen)
    1. Zeitreihenausgabe
    2. Scatterplotausgabe
    3. Hodographausgabe
    4. Fehlerverteilungsausgabe
    5. Boxplotausgabe
    6. Datenexportausgabe
    7. Statistikexportausgabe
    8. Statistiküberblickexportausgabe
  6. Programmabschluss

Vorlauf-Programme

DATACONVERT, ZEITRIO, BOE2NC, NCCHUNKIE,NCDELTA, NCDVAR, UNTRIM2007, UNTRIM2, SEDIMORPH, UNK

Nachlauf-Programme

MATLAB, EXCEL

Weitere Informationen

Programmiersprache

MATLAB r2018b

zusätzliche Software

keine

Originalversion

R. Hagen

Programmpflege

R. Hagen

Dokumentation/Literatur

  • Musterdateien:
    • Musterdateien finden sich in $PROGHOME/examples/ncpolo/

zurück zu Programmkennblätter

Strukturübersicht

Abgerufen von „https://wiki.baw.de/de/index.php?title=NCPOLO&oldid=34847“