Aktionen

NCPOLO: Unterschied zwischen den Versionen

Aus BAWiki

imported>Hagen Robert
Keine Bearbeitungszusammenfassung
KKeine Bearbeitungszusammenfassung
 
(12 dazwischenliegende Versionen von 3 Benutzern werden nicht angezeigt)
Zeile 2: Zeile 2:
|name_en=NCPOLO
|name_en=NCPOLO
|name=NCPOLO
|name=NCPOLO
|version=Mai 2019
|version=September 2021
|version_beschr=Mai 2019
|version_beschr=September 2022
|stichworte=Postprozessor<br />
|stichworte=Postprozessor<br />
Differenzen für synoptische Daten <br />
Differenzen für synoptische Daten <br />
Zeile 12: Zeile 12:
Modellskill <br />
Modellskill <br />
Statistik <br />
Statistik <br />
Parallelisiert <br />


|kurzbeschreibung=
|kurzbeschreibung=
[[NCPOLO]] (siehe auch [[NCPOLO.DAT|ncpolo.dat]]) hat seinen Anwendungsschwerpunkt in der Modellvalidierung. Durch das Zusammenfassen validierungstypischer Darstellungen, Skillscores und diverser Exportmöglichkeiten in einem Programm wird ein Messung-Modell-Vergleich schnell und einfach erstellt. Um den Vergleich von Mess- und Modelldaten anzustellen, korreliert [[NCPOLO]] alle punktuell vorliegenden Messdaten (als [[CF-NETCDF.NC|cf-netcdf.nc]]) mit der flächigen, gechunkten, 2D [[UNTRIM2]] bzw. [[UNK]] Ergebnisdatei. Die Zuordnung der physikalischen Größen erfolgt hierbei vollautomatisch. Bei der Differenzenbildung bildet [[NCPOLO]] stets: '''Messung – Modell'''.
[[NCPOLO]] (siehe auch [[NCPOLO.DAT]]) hat seinen Anwendungsschwerpunkt in der Modellvalidierung. Durch das Zusammenfassen validierungstypischer Darstellungen, Skillscores und diverser Exportmöglichkeiten in einem Programm wird ein Messung-Modell-Vergleich erstellt. Um den Vergleich von Mess- und Modelldaten anzustellen, müssen alle punktuell vorliegenden Messdaten (als [[CF-NETCDF.NC|cf-netcdf.nc]]) mit [[NCDELTA]] zeitlich und örtlich korreliert werden.
<br />
 
Anfordungen an die Messdaten:
Anmerkungen:
# Müssen als [[CF-NETCDF.NC|cf-netcdf.nc]] vorliegen (idealerweise zusammengefasst)
* Zum Preprocessing von [[BOEWRT.DAT]] Messdaten wird empfohlen [[BOE2NC]] zu verwenden.
# Sollten idealerweise nur eine physikalische Größe enthalten
* Die [[BOEWRT.DAT]] Header müssen alle notwendigen Informationen enthalten (Zeitzone, Koordinatensystem, Koordinaten, ...).
# Zum Preprocessing von [[BOEWRT.DAT]] Daten sollte [[BOE2NC]] verwendet werden.
* Die Messdaten sollten geprüft sein. Eine Prüfung des Wertebereichs wird nicht vorgenommen.
# Die [[BOEWRT.DAT]] Daten sollten alle Informationen enthalten (Zeitzone, Koordinatensystem, Koordinaten, ...)
* Die Messdaten sollten ein-eindeutig sein, mehrere Messungen je Station sind zwar möglich, jedoch wird nur der erste gültige Index programmintern berücksichtigt.
# Die Messdaten sollten geprüft sein. Eine Prüfung des Wertebereichs wird nicht vorgenommen.
* Die Modelldaten können als 2D und 3D [[NCDELTA]] Ergebnis vorgegeben werden.
<br />
* [[NCDELTA]] '''muss''' mit der Option with_original_data = .true. durchgeführt werden
Anforderungen an die Modelldaten:
* Da es möglich ist mehrere Ausgabeformate für diverese Zeiträume (.png, .fig, .eps, .pdf) anzufordern, kann sich sehr schnell eine extrem große Menge an Bildern (>1.000) ergeben.
# Die Ergebnisdatei sollte flächig vorliegen.
 
# Die Ergebnisdatei '''muss''' 2D-Daten enthalten.
 
# Die Ergebnisdatei sollte gechunkt sein. Dafür kann [[NCCHUNKIE]] verwendet werden. Der Zeitgewinn bei einer gechunkten Datei liegt etwa bei Faktor 125.
Ausgaben von [[NCPOLO]]:
<br />
* Zeitreihen (komplett & Detailzeiträume)
Mögliche Darstellungen mit [[NCPOLO]]:
* Scatterplots (nach Dichte eingefärbt oder einfarbig)
# Zeitreihen (komplett, Detailzeiträume)
* Hodographen der Strömung (nach Dichte eingefärbt oder einfarbig)
# Scatterplots (nach Dichte eingefärbt, einfarbig)
* Boxplot der Fehlerverteilung
# Hodographen der Strömung (nach Dichte eingefärbt, einfarbig)
* Grafische Statistikverteilung (frei wählbare Parameter)
# Boxplot-Fehlerverteilung
* Übersicht statistischer Größen (alle Pegel)
# Statistikverteilung (33 wählbare Parameter)


<gallery>
<gallery>
ts.wasserstand.png|Beispielhafter Detailplot Wasserstand
S.19.004.sea_surface_height.ts.Bremerhaven.zeitraum.2.png|Beispielhafter Detailplot Wasserstand
Scatterplot.Salzgehalt.DE.png|Beispielhafter Scatterplot Salzgehalt
S.19.004.sea water salinity.scat.Nordenham.png|Beispielhafter Scatterplot Salzgehalt
hodograph.stroemung.png|Beispielhafter Hodograph Strömung
Ncpolo_ex1.undefined.hodograph.So07JD0.png|Beispielhafter Hodograph Strömung
boxall.wasserstand.png|Beispielhafte Boxplot-Fehlerverteilung Wasserstand
boxall.wasserstand.png|Beispielhafte Boxplot-Fehlerverteilung Wasserstand
Fehler.Bar.png|Beispielhafte Statistikverteilung als Balkendiagramm
Fehler.Bar.png|Beispielhafte Statistikverteilung als Balkendiagramm
</gallery>
</gallery>
Mögliche Fehlerquellen:
# Die Messdaten liegen nicht im Modellgebiet (z.B. falsches Koordinatensystem in den Messdaten angegeben).
# Der Toleranzradius für die räumliche Zuordnung ist zu klein gewählt.
# Die zeitliche Toleranz für die zeitliche Zuordnung ist zu klein gewählt.
<br />
Anmerkungen
# Der Messstationsname wird aus der [[BOEWRT.DAT]] Datei für alle Outputs verwendet. Es ist also von Vorteil diesen '''kurz''' zu wählen.
# Für die Statistikausgabe werden MAE, RMSE, bzw. RMAE und RRMSE empfohlen.
# Da es möglich ist mehrsprachig (deutsch, englisch) mit mehreren Ausgabeformaten (.png, .fig, .eps, .pdf) zu arbeiten, ergibt sich sehr schnell große Mengen an Bildern. Der Nutzer sollte sich entsprechend vorher überlegen, welche Darstellungen unbedingt benötigt werden.


|eingabedateien=
|eingabedateien=
# '''allgemeine Eingabedaten''' (Dateityp [[NCPOLO.DAT|ncpolo.dat]]);
* '''allgemeine Eingabedaten''' (Dateityp [[NCPOLO.DAT]]);
# '''Modelldaten''', aus [[UNTRIM2007]], [[UNTRIM2]] und [[UNK]] (Dateityp [[CF-NETCDF.NC|cf-netcdf.nc]]);
# '''Messdaten''', z. B. Wasserstand (Dateityp [[CF-NETCDF.NC|cf-netcdf.nc]]);


|ausgabedateien=   
|ausgabedateien=   
# Datei mit '''Informationen zum Programmablauf''' (Dateityp ncpolo.sdr)
* Datei mit '''Informationen zum Programmablauf''' (Dateityp ncpolo.sdr)
# (optional) Zeitreihen (Dateityp PNG, FIG, EPS, FIG)
* Datei mit '''Fehlern und Warnungen''' (Dateityp ncpolo.err)
# (optional) Scatterplot (Dateityp PNG, FIG, EPS, FIG)
* (optional) Zeitreihen (Dateityp PNG, FIG, EPS, FIG)
# (optional) Hodograph (Dateityp PNG, FIG, EPS, FIG)
* (optional) Scatterplot (Dateityp PNG, FIG, EPS, FIG)
# (optional) Boxplotverteilung (Dateityp PNG, FIG, EPS, FIG)
* (optional) Hodograph (Dateityp PNG, FIG, EPS, FIG)
# (optional) Statistikverteilung (Dateityp PNG, FIG, EPS, FIG)
* (optional) Boxplotverteilung (Dateityp PNG, FIG, EPS, FIG)
# (optional) Statistische Kennwerte (Dateityp DAT, CSV, LATEX)
* (optional) Statistikverteilung (Dateityp PNG, FIG, EPS, FIG)
# (optional) Zeitlich und örtlich korrelierte Daten (Dateityp DAT, CSV, [[BOEWRT.DAT]], MAT)
* (optional) Statistikübersicht (Dateityp CSV, MAT, XLSX)


|methode=
|methode=
Das Programm wurde mit MATLAB erstellt und mit PROGHOME Methoden ergänzt. Der Programmablauf wird nachfolgend skizziert:
Das Programm wurde mit [[MATLAB]] erstellt und mit ProgHome-Methoden ergänzt. Der Programmablauf wird nachfolgend skizziert:
 
# Lesen der Steuerdatei des Anwenders (Dictionary Check)
# Lesen der Steuerdatei des Anwenders.
# Plausibilitätschecks
# Festlegen der zu bearbeitenden physikalischen Größen.
# Vorbelegen aller optionalen Parameter
# Je physikalischer Größe:
# Einpflegen der nutzerdefinierten Parameter
## Check: Existieren Messdaten für diese physikalische Größe?
# Datenimport
## Check: Sollen Plots erstellt werden und wenn ja welche?
# Statistikberechnung
## Check: Sollen Daten exportiert werden und wenn ja welche?
# Ausgabe
## Wenn 1 und 2 und/oder 3 zutreffend sind: Einladen der Messdaten der physikalischen Größe.
## Zeitreihenausgabe
## Je Messposition:
## Scatterplotausgabe
### Korrelation von punktuell vorliegenden Messdaten auf die flächige 2D Ergebnisdatei
## Hodographausgabe
### Check: Liegt die Position innerhalb des vorgegeben, maximalen Abstands ''maxDist''?
## Fehlerverteilungsausgabe
### Falls ja, wird das flächige Modellergebnis am räumlich nächsten Index (Face oder Edge) ausgelesen.
## Boxplotausgabe
### Check: Fällt die ausgelesene nächste Position trocken?
## Statistikausgabe
### Falls ja, Auslesen der nächstnäheren Position, bis ''minPoints'' erreicht ist, oder der Punkt nicht mehr trockenfällt.
# Programmabschluss
### Check: Existieren gemeinsame Zeitpunkte innerhalb der Zeittoleranz ''ttol''?
### Falls ja, werden alle gemeinsamen Zeitpunkte für diese Position ermittelt und gespeichert.
### Aus diesen Zeitpunkten wird die [[NCPOLO]] Statistik berechnet.
### Alle eben ermittelten Werte werden abgespeichert -danach wird die nächste Position analog bearbeitet.
# Alle vom Nutzer gewünschten Grafiken werden erzeugt.
# Die Grafiken werden im nutzerdefinierten Format abgespeichert und in einer Verzeichnisstruktur im nutzerdefinierten Export Directory abgelegt.
# Alle vom Nutzer gewünschten Datenexport und Statistikexport Möglichkeiten werden erzeugt.
# Die Daten werden im nutzerdefinierten Format abgespeichert und in einer Verzeichnisstruktur im nutzerdefinierten Export directory abgelegt.


|preprozessor=[[DATACONVERT]], [[ZEITRIO]], [[BOE2NC]], [[UNTRIM2007]], [[UNTRIM2]], [[SEDIMORPH]], [[UNK]], [[NCCHUNKIE]]
|preprozessor=[[DATACONVERT]], [[ZEITRIO]], [[BOE2NC]], [[NCCHUNKIE]], [[NCDELTA]], [[NCDVAR]], [[NCMERGE]], [[UNTRIM2007]], [[UNTRIM2]], [[UNK]]
|postprozessor=[[MATLAB]], [[EXCEL]]
|postprozessor=[[MATLAB]], [[EXCEL]]
|programmiersprache=MATLAB
|programmiersprache=MATLAB r2019b
|zus_software= keine
|zus_software= keine
|kontakt_original=[mailto:robert.hagen@baw.de R. Hagen],[mailto:maurice.jurke@baw.de M. Jurke]
|kontakt_original=R. Hagen
|kontakt_pflege=[mailto:robert.hagen@baw.de R. Hagen]
|kontakt_pflege=[mailto:pos.proghome@baw.de Arbeitsgruppe POS] und R. Hagen
|dokumentation=
|dokumentation=
* Musterdateien:
* Musterdateien:
** Musterdateien finden sich in '''$PROGHOME/examples/ncpolo/'''
** Musterdateien finden sich in '''$PROGHOME/examples/ncpolo/'''
}}
}}

Aktuelle Version vom 7. September 2022, 08:56 Uhr

Basisinformationen

Programm-Name

NCPOLO

Version

September 2021

Beschreibung

September 2022

Stichworte

Postprozessor
Differenzen für synoptische Daten
Locations
Zeitreihen
Scatterplots
Hodograph
Modellskill
Statistik

Kurzbeschreibung

NCPOLO (siehe auch NCPOLO.DAT) hat seinen Anwendungsschwerpunkt in der Modellvalidierung. Durch das Zusammenfassen validierungstypischer Darstellungen, Skillscores und diverser Exportmöglichkeiten in einem Programm wird ein Messung-Modell-Vergleich erstellt. Um den Vergleich von Mess- und Modelldaten anzustellen, müssen alle punktuell vorliegenden Messdaten (als cf-netcdf.nc) mit NCDELTA zeitlich und örtlich korreliert werden.

Anmerkungen:

  • Zum Preprocessing von BOEWRT.DAT Messdaten wird empfohlen BOE2NC zu verwenden.
  • Die BOEWRT.DAT Header müssen alle notwendigen Informationen enthalten (Zeitzone, Koordinatensystem, Koordinaten, ...).
  • Die Messdaten sollten geprüft sein. Eine Prüfung des Wertebereichs wird nicht vorgenommen.
  • Die Messdaten sollten ein-eindeutig sein, mehrere Messungen je Station sind zwar möglich, jedoch wird nur der erste gültige Index programmintern berücksichtigt.
  • Die Modelldaten können als 2D und 3D NCDELTA Ergebnis vorgegeben werden.
  • NCDELTA muss mit der Option with_original_data = .true. durchgeführt werden
  • Da es möglich ist mehrere Ausgabeformate für diverese Zeiträume (.png, .fig, .eps, .pdf) anzufordern, kann sich sehr schnell eine extrem große Menge an Bildern (>1.000) ergeben.


Ausgaben von NCPOLO:

  • Zeitreihen (komplett & Detailzeiträume)
  • Scatterplots (nach Dichte eingefärbt oder einfarbig)
  • Hodographen der Strömung (nach Dichte eingefärbt oder einfarbig)
  • Boxplot der Fehlerverteilung
  • Grafische Statistikverteilung (frei wählbare Parameter)
  • Übersicht statistischer Größen (alle Pegel)
  • Beispielhafter Detailplot Wasserstand

    Beispielhafter Detailplot Wasserstand

  • Beispielhafter Scatterplot Salzgehalt

    Beispielhafter Scatterplot Salzgehalt

  • Beispielhafter Hodograph Strömung

    Beispielhafter Hodograph Strömung

  • Beispielhafte Boxplot-Fehlerverteilung Wasserstand

    Beispielhafte Boxplot-Fehlerverteilung Wasserstand

  • Beispielhafte Statistikverteilung als Balkendiagramm

    Beispielhafte Statistikverteilung als Balkendiagramm

Eingabe-Dateien

Ausgabe-Dateien

  • Datei mit Informationen zum Programmablauf (Dateityp ncpolo.sdr)
  • Datei mit Fehlern und Warnungen (Dateityp ncpolo.err)
  • (optional) Zeitreihen (Dateityp PNG, FIG, EPS, FIG)
  • (optional) Scatterplot (Dateityp PNG, FIG, EPS, FIG)
  • (optional) Hodograph (Dateityp PNG, FIG, EPS, FIG)
  • (optional) Boxplotverteilung (Dateityp PNG, FIG, EPS, FIG)
  • (optional) Statistikverteilung (Dateityp PNG, FIG, EPS, FIG)
  • (optional) Statistikübersicht (Dateityp CSV, MAT, XLSX)

Methode

Das Programm wurde mit MATLAB erstellt und mit ProgHome-Methoden ergänzt. Der Programmablauf wird nachfolgend skizziert:

  1. Lesen der Steuerdatei des Anwenders (Dictionary Check)
  2. Plausibilitätschecks
  3. Vorbelegen aller optionalen Parameter
  4. Einpflegen der nutzerdefinierten Parameter
  5. Datenimport
  6. Statistikberechnung
  7. Ausgabe
    1. Zeitreihenausgabe
    2. Scatterplotausgabe
    3. Hodographausgabe
    4. Fehlerverteilungsausgabe
    5. Boxplotausgabe
    6. Statistikausgabe
  8. Programmabschluss

Vorlauf-Programme

DATACONVERT, ZEITRIO, BOE2NC, NCCHUNKIE, NCDELTA, NCDVAR, NCMERGE, UNTRIM2007, UNTRIM2, UNK

Nachlauf-Programme

MATLAB, EXCEL

Weitere Informationen

Programmiersprache

MATLAB r2019b

zusätzliche Software

keine

Originalversion

R. Hagen

Programmpflege

Arbeitsgruppe POS und R. Hagen

Dokumentation/Literatur

  • Musterdateien:
    • Musterdateien finden sich in $PROGHOME/examples/ncpolo/

zurück zu Programmkennblätter

Strukturübersicht

Abgerufen von „https://wiki.baw.de/de/index.php?title=NCPOLO&oldid=35671“