BAWiki - Benutzerbeiträge [de]

Differenzen der Berechnungsergebnisse

2022-05-16T08:08:39Z

Rosenhagen: /* Weitere Skill-Definitionen */

__NOAUTOLINKS__
__NOAUTOLINKTARGET__
[[en:Differences of Calculated Results]]

==Einführung==

Für die von
* [[Modellverfahren für den Küstenbereich und Ästuare|mathematischen Verfahren]] erzeugten Ergebnisse, durch
* [[Analyse der Berechnungsergebnisse]] ermittelten Kennwerte, oder
* Beobachtungsdaten
können verschiedene Differenzen berechnet werden. Typischer Weise lassen sich die verschiedenen Eingangsdaten wie folgt kategorisieren:
* '''Kategorie K0''': <math>f(x,y,z)</math>, von der Zeit unabhängige Größen;
* '''Kategorie K1''': <math>f(x,y,z,t_1)</math>, von der Zeit abhängige Größen, ein Termin;
* '''Kategorie KC''': <math>f(x,y,z,t_i)</math>, von der Zeit abhängige Größen, mehrere diskrete Termine, äquidistanter Zeitschritt <math>\Delta_t</math>;
* '''Kategorie KN''': <math>f(x,y,z,t_i)</math>, von der Zeit abhängige Größen, mehrere diskrete Termine, nicht äquidistanter Zeitschritt <math>\Delta_t(i)</math>.
Für geophysikalische Daten spielen insbesondere die Kategorien K1, KC und KN eine Rolle. Beispiele:
* Kategorie K1: Topografie/Bathymetrie <math>h(x,y,z,t_1)</math> für einen bestimmten Termin;
* Kategorie KC: Wasserspiegelauslenkung <math>\eta(x,y,z,t_i)</math> zu äquidistanten Terminen <math>t_i</math>, z. B. von einem mathematischen Verfahren berechnet;
* Kategorie KN: Tidehochwasser <math>\eta^{\rm{Thw}}(x,y,z,t_i)</math> zu ''nicht'' äquidistanten Terminen <math>t_i</math>, z. B. als Analyse-Ergebnis einer Wasserstandszeitreihe.

==Definitionen==

* '''Referenz-Daten <math>r</math>''': Gegenüber <math>r</math> werden verschiedene ''Abweichungen'' von <math>f</math> ermittelt. Können Beobachtungsdaten, Simulations- oder Analyse-Ergebnisse für einen ''ausgezeichneten'' Zustand sein;
* '''Vergleichs-Daten <math>f</math>''': Können ebenfalls Beobachtungsdaten, Simulations- oder Analyse-Ergebnisse sein, deren Unterschiede zu den Referenz-Daten ermittelt werden sollen. Z. B. Ergebnisse für einen anderen Zeitraum (natürliche Variation) oder (anthropogen beeinflussten Ausbau-) Zustand eines Systems;
* '''Logical-Operator 1''': <math>V(r_i)</math> liefert den Ergebniswert .T. oder .F., in Abhängigkeit ob <math>r_i</math> gültig oder ungültig ist. Auf <math>f_i</math> angewendet gilt dasselbe.
* '''Logical-Operator 2''': <math>V(r_I,f_i)</math> liefert den Ergebniswert .T. oder .F., in Abhängigkeit ob <math>V(r_i)\land V(f_i)</math> gültig oder ungültig ist.
* '''Integer-Operator 1''': <math>P(r_i)</math> liefert den Ergebniswert 1 falls <math>V(r_i)</math> .T. ist und ansonsten den Wert 0. Auf <math>f_i</math> angewendet gilt dasselbe.
* '''Integer-Operator 2''': <math>P(r_i,f_i)</math> liefert den Ergebniswert 1 falls <math>V(r_i)\land V(f_i)</math> .T. ist und ansonsten den Wert 0.

==Voraussetzungen für die Berechnung von Differenzen==

Folgende Voraussetzungen müssen die Eingangsdaten <math>r</math> und <math>f</math> erfüllt werden:
# <math>r</math> und <math>f</math> müssen derselben Kategorie (siehe oben) angehören;
# die Anzahl der Termine <math>t_i</math> muss für <math>r</math> und <math>f</math> identisch sein;
# für Daten der Kategorie KC müssen die äquidistanten Zeitschritte <math>\Delta t</math> für <math>r</math> und <math>f</math> übereinstimmen;
# (physikalische) Dimension und Bedeutung müssen für <math>r</math> und <math>f</math> äquivalent sein;
# sowohl <math>r_i</math> (kurz für <math>r(x,y,z,t_i)</math>) als auch <math>f_i</math> (kurz für <math>r(x,y,z,t_i)</math>) müssen für den Termin <math>i</math> gültig sein; ansonsten wird ein ungültiger Wert berechnet.

==Berechnungsergebnisse==

Doe nachfolgenden Größen können mit dem Programm [[NCDELTA]] berechnet werden.

===Gewöhnliche Differenzen===

====Differenz====

Das Ergebnis wird für alle Termine (ein Ergebniswert bei zeitunabhängigen Daten) für alle Positionen <math>(x,y,z)</math> berechnet:
# Es wird die Differenz zwischen <math>f_i</math> und <math>r_i</math> berechnet, falls <math>V(r_i,f_i)</math> den Wert .T. liefert:
#:<math>d_i = f_i - r_i</math>, falls <math>V(r_i,f_i)</math>;
# Das Ergebnis wird mit ''invalid'' gekennzeichnet, falls <math>V(r_i,f_i)</math> den Wert .F. ergibt:
#:<math>d_i = \rm{invalid}</math>, falls <math>\lnot V(r_i,f_i)</math>.
Die Berechnung wird für Daten der Kategorien '''K0''', '''K1''', '''KC''' und '''KN''' durchgeführt, also für alle Arten von Daten.

====Maximale Differenz====

Es wird der dem Betrage nach ''maximale'' Wert unter Beibehaltung des Vorzeichens ermittelt:
# Zunächst werden alle Differenzen <math>d_i</math> wie oben beschrieben berechnet;
# Aus den gültigen Werten wird ein Index <math>i^\max</math> so ermittelt, dass dort <math>\left|d_i\right|</math> maximal wird
#:<math>d^\max = d_{i^\max}</math>.
#:bezeichnet dann die im Sinne dieser Definition ''maximale Differenz''; diese kann positiv, negativ oder Null sein;
# Falls alle Werte <math>d_i</math> ungültig sind, wird <math>d^\max = \rm{invalid}</math> gesetzt.
Die Berechnung wird für Daten der Kategorien '''KC''' und '''KN''' durchgeführt, also für alle Datensätze, die für mehr als einen Termin vorhanden sind. Man erhält immer dann einen gültigen Wert für <math>d^\max</math>, falls wenigstens eine gültige Differenz <math>d_i</math> vorhanden ist. Programme wie [[NCPLOT]] ermöglichen bei der Visualisierung eine Filterung der dargestellten Daten mit Hilfe der ''Anzahl der gültigen Differenzen''.

====Minimale Differenz====

Es wird der dem Betrage nach ''minimale'' Wert unter Beibehaltung des Vorzeichens ermittelt:
# Zunächst werden alle Differenzen <math>d_i</math> wie oben beschrieben berechnet;
# Aus den gültigen Werten wird ein Index <math>i^\min</math> so ermittelt, dass dort <math>\left|d_i\right|</math> minimal wird
#:<math>d^\min = d_{i^\min}</math>.
#:bezeichnet dann die im Sinne dieser Definition ''minimale Differenz''; diese kann positiv, negativ oder Null sein;
# Falls alle Werte <math>d_i</math> ungültig sind, wird <math>d^\min = \rm{invalid}</math> gesetzt.
Die Berechnung wird für Daten der Kategorien '''KC''' und '''KN''' durchgeführt, also für alle Datensätze, die für mehr als einen Termin vorhanden sind. Man erhält immer dann einen gültigen Wert für <math>d^\min</math>, falls wenigstens eine gültige Differenz <math>d_i</math> vorhanden ist. Programme wie [[NCPLOT]] ermöglichen bei der Visualisierung eine Filterung der dargestellten Daten mit Hilfe der ''Anzahl der gültigen Differenzen''.

====Mittlere Differenz====

Es wird der Mittelwert aller gültigen Differenzen berechnet:
# Zunächst werden alle Differenzen <math>d_i</math> wie oben beschrieben berechnet;
# Aus den gültigen Werten folgt für den Mittelwert
#:<math>d^{\rm{mit}}=\frac{\sum_{i\in I}P(d_i)d_i}{\sum_{i\in I}P(d_i)}</math>;
# Falls alle Werte <math>d_i</math> ungültig sind, wird <math>d^{\rm{mit}} = \rm{invalid}</math> gesetzt.
Die Berechnung wird für Daten der Kategorien '''KC''' und '''KN''' durchgeführt, also für alle Datensätze, die für mehr als einen Termin vorhanden sind. Man erhält immer dann einen gültigen Wert für <math>d^{\rm{mit}}</math>, falls wenigstens eine gültige Differenz <math>d_i</math> vorhanden ist. D. h. die Mittelwerte können Stichproben unterschiedlicher Größe entstammen. Programme wie [[NCPLOT]] ermöglichen bei der Visualisierung eine Filterung der dargestellten Daten mit Hilfe der ''Anzahl der gültigen Differenzen''.

====Mittlere Abweichung====

Es wird die Abweichung aller gültigen Differenzen berechnet:
# Zunächst werden alle Differenzen <math>d_i</math> wie oben beschrieben berechnet;
# Aus den gültigen Werten folgt für die Abweichung
#:<math>d^{\rm{abw}}=\frac{\sum_{i\in I}P(d_i)\left|d_i\right|}{\sum_{i\in I}P(d_i)}</math>;
# Falls alle Werte <math>d_i</math> ungültig sind, wird <math>d^{\rm{abw}} = \rm{invalid}</math> gesetzt.
Die Berechnung wird für Daten der Kategorie '''KC''' und '''KN''' durchgeführt, also für alle Datensätze mit äquidistantem Zeitschritt. Man erhält immer dann einen gültigen Wert für <math>d^{\rm{abw}}</math>, falls wenigstens eine gültige Differenz <math>d_i</math> vorhanden ist. D. h. den Abweichungen können Stichproben unterschiedlicher Größe zu Grunde liegen. Programme wie [[NCPLOT]] ermöglichen bei der Visualisierung eine Filterung der dargestellten Daten mit Hilfe der ''Anzahl der gültigen Differenzen''.

====Root Mean Square Error (RMSE)====

Es wird die RMSE aus allen gültigen Differenzen berechnet:
# Zunächst werden alle Differenzen <math>d_i</math> wie oben beschrieben berechnet;
# Aus den gültigen Werten ergibt sich die RMSE nach der einschlägig bekannten Formel;
# Falls alle Werte <math>d_i</math> ungültig sind, wird RMSE = '''invalid''' gesetzt.
Die Berechnung wird für Daten der Kategorie '''KC''' und '''KN''' durchgeführt, also für alle Datensätze mit äquidistantem Zeitschritt. Man erhält immer dann einen gültigen Wert für RMSE, falls wenigstens eine gültige Differenz <math>d_i</math> vorhanden ist. D. h. den RMSE-Werten können Stichproben unterschiedlicher Größe zu Grunde liegen. Programme wie [[NCPLOT]] ermöglichen bei der Visualisierung eine Filterung der dargestellten Daten mit Hilfe der ''Anzahl der gültigen Differenzen''.

====Anzahl der gültigen Differenzen====

Die Anzahl der gültigen Differenzen kann von Ort zu Ort variieren. Daher liegt einigen der oben beschriebenen Größen eine unterschiedlich große Stichprobe für ihre Berechnung zu Grunde:
# Zunächst werden alle Differenzen <math>d_i</math> wie oben beschrieben berechnet;
# Die Anzahl der gültigen Differenzen ergibt sich dann zu
#:<math>N_{\rm{ord}}=\sum_{i\in I}P(d_i)</math>;
Die Berechnung wird für Daten der Kategorien '''KC''' und '''KN''' durchgeführt, also für alle Datensätze, die für mehr als einen Termin vorhanden sind. In Programmen wie [[NCPLOT]] können z. B. die ''Maximale Differenz'', die ''Minimale Differenz'', der ''Mittelwert'' sowie die ''Mittlere Abweichung'' mit Hilfe dieser Größe bei der Visualisierung gefiltert werden. So können Darstellungen erzeugt werden, die z. B. das Ergebnis nur für Orte darstellen, an denen alle, oder eine bestimmte Anzahl von Ereignissen für die Berechnung der Daten zur Verfügung standen.

===Daten für das Taylor-Diagramm===

Taylor Diagramme ermöglichen "''a concise statistical summary of how well patterns match each other in terms of their correlation, their root-mean-square difference and the ratio of their variances''." Zusätzliche Informationen wie z. B. der absolute oder prozentuale Unterschied bezüglich der Mittelwerte (''Bias'') können prinzipiell in Taylor Diagrammen ergänzt werden.
Ein Taylor Diagramm bietet einen ausgezeichneten grafischen Rahmen, um verschiedene Variable eines oder mehrerer Modelle, einer oder mehrere Simulationsrechnungen mit Referenzdaten vergleichen zu können.

Literatur und weitere Informationen:
# Taylor, K. E. (2001), ''Summarizing multiple aspects of model performance in a single diagram'', Journal of Geophysical Research, 106 (D7), 7183–7192, doi: [http://dx.doi.org/10.1029/2000JD900719 http://dx.doi.org/10.1029/2000JD900719];
# [http://www-pcmdi.llnl.gov/about/staff/Taylor/CV/Taylor_diagram_primer.htm http://www-pcmdi.llnl.gov/about/staff/Taylor/CV/Taylor_diagram_primer.htm] mit einer kurzen Einführung in das Diagramm durch K. E. Taylor sowie weiteren Hinweisen auf Anwendungsbeispiele.

====Standardabweichung der Referenzdaten====

Es wird die Standardabweichung für alle gültigen Referenzdaten berechnet:
# Zunächst wird der Mittelwert der Referenzdaten <math>r</math> ermittelt
#:<math>\bar{r}=\frac{\sum_{i\in I}P(r_i,f_i)r_i}{\sum_{i\in I}P(r_i,f_i)}</math>;
# Falls ein gültiger Mittelwert berechnet werden konnte folgt für die Standardabweichung
#:<math>\sigma_r = \sqrt{\frac{\sum_{i\in I}P(r_i,f_i)\left(r_i-\bar{r}\right)^2}{\sum_{i\in I}P(r_i,f_i)}}</math>;
# Falls alle Werte <math>P(r_i,f_i)</math> 0 sind, wird <math>\sigma_r = \rm{invalid}</math> gesetzt.
Die Berechnung wird für Daten der Kategorien '''KC''' und '''KN''' durchgeführt, also für alle Datensätze, die für mehr als einen Termin vorhanden sind. Man erhält immer dann einen gültigen Wert für <math>\sigma_r</math>, falls wenigstens ein auf 1 lautender Wert <math>P(r_i,f_i)</math> vorhanden ist. D. h. die Standardabweichungen können Stichproben unterschiedlicher Größe entstammen. Programme wie [[NCPLOT]] ermöglichen bei der Visualisierung eine Filterung der dargestellten Daten mit Hilfe der ''Anzahl der gültigen Taylor Daten''.

Anmerkung: Wir verwenden hier <math>P(r_i,f_i)</math> und nicht <math>P(r_i)</math> um sicherzustellen, dass sich die für das Taylor Diagramm benötigten Daten jeweils auf denselben Stichprobenumfang beziehen.

====Standardabweichung der Vergleichsdaten====

Es wird die Standardabweichung für alle gültigen Vergleichsdaten berechnet:
# Zunächst wird der Mittelwert der Vergleichsdaten <math>f</math> ermittelt
#:<math>\bar{f}=\frac{\sum_{i\in I}P(r_i,f_i)f_i}{\sum_{i\in I}P(r_i,f_i)}</math>;
# Falls ein gültiger Mittelwert berechnet werden konnte folgt für die Standardabweichung
#:<math>\sigma_f = \sqrt{\frac{\sum_{i\in I}P(r_i,f_i)\left(f_i-\bar{f}\right)^2}{\sum_{i\in I}P(r_i,f_i)}}</math>;
# Falls alle Werte <math>P(r_i,f_i)</math> 0 sind, wird <math>\sigma_f = \rm{invalid}</math> gesetzt.
Die Berechnung wird für Daten der Kategorien '''KC''' und '''KN''' durchgeführt, also für alle Datensätze, die für mehr als einen Termin vorhanden sind. Man erhält immer dann einen gültigen Wert für <math>\sigma_f</math>, falls wenigstens ein auf 1 lautender Wert <math>P(r_i,f_i)</math> vorhanden ist. D. h. die Standardabweichungen können Stichproben unterschiedlicher Größe entstammen. Programme wie [[NCPLOT]] ermöglichen bei der Visualisierung eine Filterung der dargestellten Daten mit Hilfe der ''Anzahl der gültigen Taylor Daten''.

Anmerkung: Wir verwenden hier <math>P(r_i,f_i)</math> und nicht <math>P(f_i)</math> um sicherzustellen, dass sich die für das Taylor Diagramm benötigten Daten jeweils auf denselben Stichprobenumfang beziehen.

====Mittelwert der Referenzdaten====

Es wird der Mittelwert berechnet, wobei in die Berechnung des Mittelwertes <math>\bar{r}</math> nur diejenigen Termine einfließen, für die sowohl <math>V(r_i)</math> als auch <math>V(f_i)</math> gültig sind:
# Aus den gültigen Werten <math>V(r_i,f_i)</math> folgt für den Mittelwert
#:<math>\bar{r}=\frac{\sum_{i\in I}P(r_i,f_i)r_i}{\sum_{i\in I}P(r_i,f_i)}</math>;
# Falls alle Werte <math>V(r_i,f_i)</math> ungültig sind, wird <math>\bar{r} = \rm{invalid}</math> gesetzt.
Die Berechnung wird für Daten der Kategorien '''KC''' und '''KN''' durchgeführt, also für alle Datensätze, die für mehr als einen Termin vorhanden sind. Man erhält immer dann einen gültigen Wert für <math>\bar{r}</math>, falls wenigstens ein gültiger Wert <math>V(r_i,f_i)</math> vorhanden ist. D. h. die Mittelwerte können Stichproben unterschiedlicher Größe entstammen. Programme wie [[NCPLOT]] ermöglichen bei der Visualisierung eine Filterung der dargestellten Daten mit Hilfe der ''Anzahl der gültigen Taylor Daten''.

====Mittelwert der Vergleichsdaten====

Es wird der Mittelwert berechnet, wobei in die Berechnung des Mittelwertes <math>\bar{f}</math> nur diejenigen Termine einfließen, für die sowohl <math>V(r_i)</math> als auch <math>V(f_i)</math> gültig sind:
# Aus den gültigen Werten <math>V(r_i,f_i)</math> folgt für den Mittelwert
#:<math>\bar{f}=\frac{\sum_{i\in I}P(r_i,f_i)f_i}{\sum_{i\in I}P(r_i,f_i)}</math>;
# Falls alle Werte <math>V(r_i,f_i)</math> ungültig sind, wird <math>\bar{f} = \rm{invalid}</math> gesetzt.
Die Berechnung wird für Daten der Kategorien '''KC''' und '''KN''' durchgeführt, also für alle Datensätze, die für mehr als einen Termin vorhanden sind. Man erhält immer dann einen gültigen Wert für <math>\bar{f}</math>, falls wenigstens ein gültiger Wert <math>V(r_i,f_i)</math> vorhanden ist. D. h. die Mittelwerte können Stichproben unterschiedlicher Größe entstammen. Programme wie [[NCPLOT]] ermöglichen bei der Visualisierung eine Filterung der dargestellten Daten mit Hilfe der ''Anzahl der gültigen Taylor Daten''.

====Korrelation====

Es wird die Korrelation zwischen <math>r</math> und <math>f</math> berechnet:
# Der Mittelwert <math>\bar{r}</math> der Referenzdaten wird wie oben beschrieben berechnet;
# Der Mittelwert <math>\bar{f}</math> der Vergleichsdaten wird wie oben beschrieben berechnet;
# Die Standardabweichung <math>\sigma_r</math> der Referenzdaten wird wie oben beschrieben berechnet;
# Die Standardabweichung <math>\sigma_f</math> der Vergleichsdaten wird wie oben beschrieben berechnet;
# Für die Korrelation <math>R</math> folgt
#:<math>R=\frac{\sum_{i\in I}P(r_i,f_i)\left(r_i-\bar{r}\right)\left(f_i-\bar{f}\right)}{\sigma_r\sigma_f\sum_{i\in I}P(r_i,f_i)}</math>;
# Falls alle Werte <math>V(r_i,f_i)</math> ungültig sind, wird <math>R = \rm{invalid}</math> gesetzt.
Die Berechnung wird für Daten der Kategorien '''KC''' und '''KN''' durchgeführt, also für alle Datensätze, die für mehr als einen Termin vorhanden sind. Man erhält immer dann einen gültigen Wert für <math>R</math>, falls wenigstens ein gültiger Wert <math>V(r_i,f_i)</math> vorhanden ist. D. h. der Korrelation können Stichproben unterschiedlicher zu Grunde liegen. Programme wie [[NCPLOT]] ermöglichen bei der Visualisierung eine Filterung der dargestellten Daten mit Hilfe der ''Anzahl der gültigen Taylor Daten''.

====Pattern RMS====

Es wird die sogenannte Pattern RMS zwischen <math>r</math> und <math>f</math> berechnet:
# Der Mittelwert <math>\bar{r}</math> der Referenzdaten wird wie oben beschrieben berechnet;
# Der Mittelwert <math>\bar{f}</math> der Vergleichsdaten wird wie oben beschrieben berechnet;
# Für die Pattern RMS <math>E'</math> folgt
#:<math>E'=\sqrt{\frac{\sum_{i\in I}P(r_i,f_i)\left[\left(r_i-\bar{r}\right)\left(f_i-\bar{f}\right)\right]^2}{\sum_{i\in I}P(r_i,f_i)}}</math>;
# Falls alle Werte <math>V(r_i,f_i)</math> ungültig sind, wird <math>E' = \rm{invalid}</math> gesetzt.
Die Berechnung wird für Daten der Kategorien '''KC''' und '''KN''' durchgeführt, also für alle Datensätze, die für mehr als einen Termin vorhanden sind. Man erhält immer dann einen gültigen Wert für <math>E'</math>, falls wenigstens ein gültiger Wert <math>V(r_i,f_i)</math> vorhanden ist. D. h. den Werten der Pattern RMS können Stichproben unterschiedlicher Größe zu Grunde liegen. Programme wie [[NCPLOT]] ermöglichen bei der Visualisierung eine Filterung der dargestellten Daten mit Hilfe der ''Anzahl der gültigen Taylor Daten''.

====Abweichung der Mittelwerte (''Bias'')====

Es wird Abweichung der Mittelwerte <math>\bar{r}</math> und <math>\bar{f}</math> berechnet; diese Größe wird auch als ''Bias'' bezeichnet:
# Der Mittelwert <math>\bar{r}</math> der Referenzdaten wird wie oben beschrieben berechnet;
# Der Mittelwert <math>\bar{f}</math> der Vergleichsdaten wird wie oben beschrieben berechnet;
# Für die Abweichung der Mittelwerte <math>\bar{E}</math> folgt
#:<math>\bar{E}=\bar{f}-\bar{r}</math>;
# Falls alle Werte <math>V(r_i,f_i)</math> ungültig sind, wird <math>\bar{E} = \rm{invalid}</math> gesetzt;
# Die Gesamt RMS <math>E</math> folgt aus <math>\bar{E}</math> und <math>E'</math> gemäß
#: <math>E = \sqrt{\bar{E}^2+E'^2}</math>;
Die Berechnung wird für Daten der Kategorien '''KC''' und '''KN''' durchgeführt, also für alle Datensätze, die für mehr als einen Termin vorhanden sind. Man erhält immer dann einen gültigen Wert für <math>\bar{E}</math>, falls wenigstens ein gültiger Wert <math>V(r_i,f_i)</math> vorhanden ist. D. h. den Werten des ''Bias'' können Stichproben unterschiedlicher Größe zu Grunde liegen. Programme wie [[NCPLOT]] ermöglichen bei der Visualisierung eine Filterung der dargestellten Daten mit Hilfe der ''Anzahl der gültigen Taylor Daten''.

====Root Mean Square Error (RMSE) nach Taylor====

Die RMSE wird nach Taylor (2001, Gleichung 3) aus ''Pattern RMS'' und ''Bias'' berechnet. Die Berechnung wird für Daten der Kategorie '''KC''' und '''KN''' durchgeführt, also für alle Datensätze, die für mehr als einen Termin vorhanden sind. Man erhält immer dann einen gültigen Wert für RMSE, falls wenigstens eine gültige Differenz <math>d_i</math> vorhanden ist. D. h. den RMSE-Werten können Stichproben unterschiedlicher Größe zu Grunde liegen. Programme wie [[NCPLOT]] ermöglichen bei der Visualisierung eine Filterung der dargestellten Daten mit Hilfe der ''Anzahl der gültigen Differenzen''.

Mathematisch ist die Definition der RMSE nach Taylor (2001, Gleichung 3) identisch zur üblicher Weise benutzten Definition. Numerisch können die auf unterschiedlichen Wegen berechneten Werte für RMSE allerdings geringfügig voneinander abweichen.

====Skill 4 nach Taylor====

Es wird der Skill S4 nach Taylor (2001, Gleichung 4) aus Korrelation und normierter Varianz berechnet.
Die Berechnung wird für Daten der Kategorie '''KC''' und '''KN''' durchgeführt, also für alle Datensätze, die für mehr als einen Termin vorhanden sind. S4 kann wie folgt charakterisiert werden:
* S4 = 1.0 kennzeichnet perfekte Übereinstimmung;
* S4 = 0.0, falls Korrelation R = -1.0 oder die Varianz der Variante gegen 0.0 oder unendlich geht;
* S4 ist linear bezüglich R (bei konstanter Varianz);
* Bei verschwindender Varianz der Referenz ist S4 nicht definiert;
* Abweichungen im Bias haben keinen Einfluss auf S4.
Diese Skill-Definition ''bestraft'' insbesondere Abweichungen in der ''Pattern RMS'', während Abweichungen bezüglich der Korrelation eher ''toleriert'' werden. Siehe hierzu Taylor (2001, Abbildung 10).

====Skill 5 nach Taylor====

Es wird der Skill S5 nach Taylor (2001, Gleichung 5) aus Korrelation und normierter Varianz berechnet.
Die Berechnung wird für Daten der Kategorie '''KC''' und '''KN''' durchgeführt, also für alle Datensätze, die für mehr als einen Termin vorhanden sind.

Im Gegensatz zu S4 werden Abweichungen der ''Pattern RMS'' und Unterschiede bezüglich der Korrelation R eher gleich stark behandelt (''bestraft''). Siehe hierzu Taylor (2001, Abbildung 11).

====Anzahl der gültigen Referenzdaten====

Die Anzahl der gültigen Referenzdaten <math>r_i</math> kann von Ort zu Ort variieren:
# Die Anzahl der gültigen Referenzdaten beträgt
#:<math>N_r=\sum_{i\in I}P(r_i)</math>;
Die Berechnung wird für Daten der Kategorien '''KC''' und '''KN''' durchgeführt, also für alle Datensätze, die für mehr als einen Termin vorhanden sind. Diese Größe hat rein informativen Charakter und wird für Taylor Diagramme nicht benötigt.

====Anzahl der gültigen Vergleichsdaten====

Die Anzahl der gültigen Vergleichsdaten <math>f_i</math> kann von Ort zu Ort variieren:
# Die Anzahl der gültigen Vergleichsdaten beträgt
#:<math>N_f=\sum_{i\in I}P(f_i)</math>;
Die Berechnung wird für Daten der Kategorien '''KC''' und '''KN''' durchgeführt, also für alle Datensätze, die für mehr als einen Termin vorhanden sind. Diese Größe hat rein informativen Charakter und wird für Taylor Diagramme nicht benötigt.

====Anzahl der gültigen Taylor-Daten====

Die Anzahl der gültigen Taylor Daten <math>\bar{r},\bar{f},\sigma_r,\sigma_f,R,E'</math> und <math>\bar{E}</math> kann von Ort zu Ort variieren:
# Die Anzahl der gültigen Taylor Daten beträgt
#:<math>N_T=\sum_{i\in I}P(r_i,f_i)</math>;
Die Berechnung wird für Daten der Kategorien '''KC''' und '''KN''' durchgeführt, also für alle Datensätze, die für mehr als einen Termin vorhanden sind. In Programmen wie [[NCPLOT]] können die o. g. Taylor Daten mit Hilfe dieser Größe bei der Visualisierung gefiltert werden. So können Darstellungen erzeugt werden, die z. B. das Ergebnis nur für Orte darstellen, an denen alle, oder eine bestimmte Anzahl von Ereignissen für die Berechnung der Daten zur Verfügung standen.

===Median und Quantile===

Voraussetzung für die Berechnung der nachfolgenden Größen ist, dass die gültigen Differenzen von <math>d_i</math> zunächst aufsteigend sortiert werden: Die <math>N_{\rm{ord}}</math> gültigen Differenzen <math>d_i</math> werden aufsteigend sortiert zu <math>s_j</math>, mit <math>j \in [1:N_{\rm{ord}}]</math>. Vereinfachend wird nachfolgend <math>n:=N_{\rm{ord}}</math> benutzt.

Die Berechnung der nachfolgenden Größen wird nur für <math>n \ge 32</math> durchgeführt.

====Median====

Es wird der Median für die gültigen Differenzen <math>d_i</math> berechnet:
# falls <math>n</math> ungerade: <math>d_{\rm{Med}} = s_\frac{n+1}{2}</math>;
# falls <math>n</math> gerade: <math>d_{\rm{Med}} = 0.5\left( s_{\frac{n}{2}}+s_{\frac{n}{2}+1}\right)</math>;
# falls weniger als 32 gültige Werte vorliegen, wird <math>d_{\rm{Med}} = \rm{invalid}</math> gesetzt.
Die Berechnung wird für Daten der Kategorien '''KC''' und '''KN''' durchgeführt, also für alle Datensätze, die für mehr als einen Termin vorhanden sind. Den Werten <math>d_{\rm{Med}}</math> können Stichproben unterschiedlicher Größe zu Grunde liegen. Programme wie [[NCPLOT]] ermöglichen bei der Visualisierung eine Filterung der dargestellten Daten mit Hilfe der ''Anzahl der gültigen Differenzen''.

====Quantil Q01====

Es wird das Quantil <math>p=0.01</math> für die gültigen Differenzen <math>d_i</math> berechnet, d. h. es wird diejenige Differenz <math>d_i</math> ermittelt, die in nur 1 % der Fälle unterschritten aber in 99 % der Fälle überschritten wird:
# falls <math>n \cdot p</math> ganzzahlig: <math>d_{\rm{Q01}} = 0.5\left( s_{n \cdot p}+s_{n \cdot p+1}\right)</math>;
# falls <math>n \cdot p</math> nicht ganzzahlig: <math>d_{\rm{Q01}} = s_{\lceil n \cdot p \rceil}</math>;
# falls weniger als 32 gültige Werte vorliegen, wird <math>d_{\rm{Q01}} = \rm{invalid}</math> gesetzt.
Die Berechnung wird für Daten der Kategorien '''KC''' und '''KN''' durchgeführt, also für alle Datensätze, die für mehr als einen Termin vorhanden sind. Den Werten <math>d_{\rm{Q01}}</math> können Stichproben unterschiedlicher Größe zu Grunde liegen. Programme wie [[NCPLOT]] ermöglichen bei der Visualisierung eine Filterung der dargestellten Daten mit Hilfe der ''Anzahl der gültigen Differenzen''.

====Quantil Q05====

Es wird das Quantil <math>p=0.05</math> für die gültigen Differenzen <math>d_i</math> berechnet, d. h. es wird diejenige Differenz <math>d_i</math> ermittelt, die in 5 % der Fälle unterschritten aber in 95 % der Fälle überschritten wird:
# falls <math>n \cdot p</math> ganzzahlig: <math>d_{\rm{Q05}} = 0.5\left( s_{n \cdot p}+s_{n \cdot p+1}\right)</math>;
# falls <math>n \cdot p</math> nicht ganzzahlig: <math>d_{\rm{Q05}} = s_{\lceil n \cdot p \rceil}</math>;
# falls weniger als 32 gültige Werte vorliegen, wird <math>d_{\rm{Q05}} = \rm{invalid}</math> gesetzt.
Die Berechnung wird für Daten der Kategorien '''KC''' und '''KN''' durchgeführt, also für alle Datensätze, die für mehr als einen Termin vorhanden sind. Den Werten <math>d_{\rm{Q05}}</math> können Stichproben unterschiedlicher Größe zu Grunde liegen. Programme wie [[NCPLOT]] ermöglichen bei der Visualisierung eine Filterung der dargestellten Daten mit Hilfe der ''Anzahl der gültigen Differenzen''.

====Quantil Q95====

Es wird das Quantil <math>p=0.95</math> für die gültigen Differenzen <math>d_i</math> berechnet, d. h. es wird diejenige Differenz <math>d_i</math> ermittelt, die in 95 % der Fälle unterschritten aber in 5 % der Fälle überschritten wird:
# falls <math>n \cdot p</math> ganzzahlig: <math>d_{\rm{Q95}} = 0.5\left( s_{n \cdot p}+s_{n \cdot p+1}\right)</math>;
# falls <math>n \cdot p</math> nicht ganzzahlig: <math>d_{\rm{Q95}} = s_{\lceil n \cdot p \rceil}</math>;
# falls weniger als 32 gültige Werte vorliegen, wird <math>d_{\rm{Q95}} = \rm{invalid}</math> gesetzt.
Die Berechnung wird für Daten der Kategorien '''KC''' und '''KN''' durchgeführt, also für alle Datensätze, die für mehr als einen Termin vorhanden sind. Den Werten <math>d_{\rm{Q95}}</math> können Stichproben unterschiedlicher Größe zu Grunde liegen. Programme wie [[NCPLOT]] ermöglichen bei der Visualisierung eine Filterung der dargestellten Daten mit Hilfe der ''Anzahl der gültigen Differenzen''.

====Quantil Q99====

Es wird das Quantil <math>p=0.99</math> für die gültigen Differenzen <math>d_i</math> berechnet, d. h. es wird diejenige Differenz <math>d_i</math> ermittelt, die in 99 % der Fälle unterschritten aber in nur 1 % der Fälle überschritten wird:
# falls <math>n \cdot p</math> ganzzahlig: <math>d_{\rm{Q99}} = 0.5\left( s_{n \cdot p}+s_{n \cdot p+1}\right)</math>;
# falls <math>n \cdot p</math> nicht ganzzahlig: <math>d_{\rm{Q99}} = s_{\lceil n \cdot p \rceil}</math>;
# falls weniger als 32 gültige Werte vorliegen, wird <math>d_{\rm{Q99}} = \rm{invalid}</math> gesetzt.
Die Berechnung wird für Daten der Kategorien '''KC''' und '''KN''' durchgeführt, also für alle Datensätze, die für mehr als einen Termin vorhanden sind. Den Werten <math>d_{\rm{Q99}}</math> können Stichproben unterschiedlicher Größe zu Grunde liegen. Programme wie [[NCPLOT]] ermöglichen bei der Visualisierung eine Filterung der dargestellten Daten mit Hilfe der ''Anzahl der gültigen Differenzen''.

===Weitere Skill-Definitionen===

====Skill 4 nach Murphy====

Literatur:
# Murphy, Allan H. (1988) "Skill Scores Based on the Mean Square Error and Their Relationship to the Correlation Coefficient". Monthly Weather Review, Dec. 1988, Seiten 2417 - 2424.

Die Berechnung wird für Daten der Kategorie '''KC''' und '''KN''' durchgeführt, also für alle Datensätze, die für mehr als einen Termin vorhanden sind. Der Skill S4 nach Murphy (1988, Gleichung 4) kann wie folgt charakterisiert werden:
* 1.0 kennzeichnet perfekte Übereinstimmung;
* 0.0 besagt, dass der Mittelwert der (Referenz-) Daten diese genau so gut modelliert wie die Varianten-Daten, da beide "Modelle" denselben mittleren quadratischen Fehler aufweisen;
* Negativer Skill bringt zum Ausdruck, dass der Mittelwert der (Referenz-) Daten diese besser modelliert als das Modell (Variante);
* Der ''Bias'' wird berücksichtigt.

====Skill nach Willmott 1981====

Literatur:
# Willmott, Cort J. (1981) "On the validation of models". Physical Geography, Seiten 184–194.

Die Berechnung wird für Daten der Kategorie '''KC''' und '''KN''' durchgeführt, also für alle Datensätze, die für mehr als einen Termin vorhanden sind. Der Skill nach Willmott (1981, Gleichung 9) kann wie folgt charakterisiert werden:
* 1.0 ist der obere Grenzwert und kennzeichnet perfekte Übereinstimmung;
* 0.0 ist der untere Grenzwert, der z.B. bei Phasenverschiebung um 180° erreicht wird;
* Der ''Bias'' wird berücksichtigt.

----
zurück zu [[Pre- und Postprocessing]]
----
[[Strukturübersicht]]

NCDELTA

2021-09-06T07:56:58Z

Rosenhagen:

{{Programmkennblatt
|name_en=NCDELTA
|name=NCDELTA
|version=August 2021
|version_beschr=August 2021
|stichworte=Postprozessor 
Differenzen für synoptische Daten (optionale Beschränkung des Zeitraums) 
Differenzen für Kennwerte 
Differenzen für extensive Größen 
Eingangsdaten für Taylor-Diagramm 
Skill nach Murphy (1988) Gleichung 4 
Skill nach Taylor (2001) Gleichungen 4 und 5 
Skill nach Willmott (1981) Index of agreement (d) 
Median, Perzentile (Q01, Q05, Q95, Q99) 
Parallelisierung mit [http://openmp.org/wp/ OpenMP] 
[[NetCDF#Qualitätssicherung mit NetCDF-Attributen|(Teil-) Automatisierte Qualitätssicherung (Wertebereich)]] 
Automatische Anpassung der READ-Daten-Portionen an Chunk-Größe 
Automatisches Setzen der WRITE Chunk-Größe 
Ablage des Inhalts der ASCII-Eingabesteuerdateien in [[CF-NETCDF.NC|netcdf.nc]] (als Variable) 
Ablage der [https://de.wikipedia.org/wiki/Message-Digest_Algorithm_5 MD5-Hash]-Werte von Eingabedateien in [[CF-NETCDF.NC|netcdf.nc]] (als Variable) 
optionale Verwendung der ''Message Passing Interface'' (MPI, [https://www.mpi-forum.org/ MPI Forum])

Danksagung: ''This project took advantage of netCDF software developed by UCAR/Unidata ([http://www.unidata.ucar.edu/software/netcdf/ www.unidata.ucar.edu/software/netcdf/]).''

|kurzbeschreibung=
Das Programm berechnet Differenzen für vergleichbare Variablen (primäre Variablenpaare) sowie gegebenenfalls weitere, daraus abgeleitete statistische Daten, und außerdem Eingangsdaten für Taylor-Diagramme (Details siehe [[Differenzen der Berechnungsergebnisse]]). Das Zusammenführen der primären Variablenpaare erfolgt dabei weitestgehend automatisch, kann aber von dem Anwender in Grenzen manuell übersteuert werden (siehe [[NCDELTA.DAT|ncdelta.dat]]). Die primären Differenzen berechnen sich gemäß ''Vergleichsdaten'' '''minus''' ''Referenzdaten''.

Anforderungen an synoptische Daten mit jeweils konstantem Zeitschritt:
# Die Datensätze können eine unterschiedliche ''Anzahl'' von Terminen enthalten, allerdings müssen die zu vergleichenden Zeiträume gleich lang sein. Es können also verschiedene, aber gleich lange Zeiträume miteinander verglichen werden;
# Bei Datensätzen mit konstantem Zeitschritt dürfen sich die Zeitschritte um ein ganzzahliges Vielfaches voneinander unterscheiden.

Anforderungen an zu vergleichende (zeitabhängige) Daten mit variablem Zeitschritt:
# Die Datensätze müssen dieselbe ''Anzahl'' von Terminen enthalten, wobei die Zeiträume selbst verschieden sein dürfen.

Anmerkungen zur räumlichen Lage zu vergleichender Datensätze:
# Datensätze müssen nicht an denselben Positionen vorliegen;
# Die Datensätze müssen sich räumlich zu einem gewissen Grad überlappen;
# Die Koordinaten der Datensätze dürfen in verschiedenen Koordinatensystemen vorliegen, z. B. Gauß-Krüger und UTM;
# Die Daten einer Position werden mit den Daten der jeweils am nächsten liegenden Position verglichen, insofern der Abstand zwischen den Positionen einen maximal zulässigen Abstand (siehe [[NCDELTA.DAT|ncdelta.dat]]) nicht überschreitet.

Anmerkungen zum Vergleich extensiver Größen:
# Bei extensiven Größen wird als Gewicht die relevante Größe der Berechnungszelle berücksichtigt (Fläche, Länge).

|eingabedateien=
# '''allgemeine Eingabedaten''' (Dateityp [[NCDELTA.DAT|ncdelta.dat]]);
# '''Referenzdaten''', z. B. Ist-Zustand (Dateityp [[CF-NETCDF.NC|cf-netcdf.nc]]);
# '''Vergleichsdaten''', z. B. Variante (Dateityp [[CF-NETCDF.NC|cf-netcdf.nc]]);
# für eine [[NetCDF#Qualitätssicherung mit NetCDF-Attributen|(teil-) automatisierte Qualitätssicherung]] (Dateityp [[BOUNDS.CFG.DAT|bounds_verify.dat]]).

|ausgabedateien=
# '''Ergebnisse''' (Dateityp [[CF-NETCDF.NC|cf-netcdf.nc]])
# (optional) Datei mit '''Informationen zum Programmablauf''' (Dateityp ncdelta.sdr)
# (optional) Datei mit '''Testausgaben''' (Dateityp ncdelta.trc)
|methode=
Das Programm untergliedert sich im Wesentlichen in folgende Abschnitte:
# Lesen, Prüfen und Druckerausgabe der Steuerdaten des Anwenders;
# Metadaten der ''Referenzdaten'' lesen;
# Metadaten der ''Vergleichsdaten'' lesen;
# Metadaten der Referenz- und Vergleichsdaten in programminterne Datenobjekte transferieren;
# Metadaten vergleichen und auf grundlegende Inkonsistenzen (insbesondere Referenzpositionen) überprüfen;
# Klassifizierung der Referenz- und Vergleichsdaten durchführen;
# Primäre Variablenpaare finden: eine Vergleichsvariable hat genau eine Referenzvariable als Partner; aus den zu einem primären Variablenpaar gehörenden Variablen werden später die primären Ergebnisdaten erzeugt;
# Bestimmen der aus den Referenz- und Vergleichsdaten in die Ergebnisdatei zu kopierenden Variablen;
# Ermitteln der für die räumliche Interpolation der Referenzdaten auf die Positionen der Vergleichsdaten erforderlichen Matrizen;
# Erzeugen der Metadaten für die Ergebnisdatei; diese setzen sich i. W. aus den Metadaten der zu kopierenden Variablen, der primären Berechnungsergebnisse, neu zu erzeugenden Koordinatenvariablen (Zeit, Vertikale), sowie zu kopierender oder neu zu erzeugender Gewichts- und weiterer Hilfsvariablen zusammen;
# Kopieren der aus den Eingangsdateien in die Ergebnisdatei zu kopierenden Daten;
# Berechnen aller primären Ergebnisvariablen, (neuer) Zeit- und Vertikalkoordinaten, sowie Gewichte und Hilfsvariablen. Bei primären Ergebnisvariablen werden optional vorhandene Hilfsvariablen mit Modifikator ''status_flag'' im ''standard_name'' berücksichtigt, insofern die Bedeutung ''good'' durch ein Bit (Flag) repräsentiert wird.
# Für die Definition der verschiedenen Skills wird auf nachfolgende Literatur verwiesen:
#* Murphy, Allan H. (1988) "Skill Scores Based on the Mean Square Error and Their Relationship to the Correlation Coefficient". Monthly Weather Review, Dec. 1988, Seiten 2417 - 2424.
#* Taylor, Karl E. (2001) "Summarizing multiple aspects of model performance in a single diagram". Journal of Geophysical Research, Vol 106, No. D7, April 16, 2001, Seiten 7183 - 7192.
#* Willmott, Cort J. (1981) "On the validation of models". Physical Geography, Seiten 184–194.

Falls beim Lesen von Daten ein '''HDF error''' auftritt wird versucht, die Werte des gewünschten Datenrecords aus den Werten zeitlich benachbarter Records zu rekonstruieren (Interpolation). Diese Reparatur funktioniert ausschließlich für von der Zeit abhängige Variablen. 

Ein Leitfaden zur Erfassung der DMQS-Metadaten steht [[Leitfaden_Metadaten_Küstengewässer|hier]].

|preprozessor=[[DATACONVERT]], [[BOE2NC]], [[NCAGGREGATE]], [[NCANALYSE]], [[NCCHUNKIE]], [[NCCUTOUT]], [[NCRCATMAT]], [[NetCDF Operators]], [[UNK]], [[UNTRIM2007]], [[UNTRIM2]]
|postprozessor=[[DAVIT]], [[NCAUTO]], [[NCCHUNKIE]], [[NCCUTOUT]], [[NCPLOT]], [[NCPOLO]], [[NCVIEW2D]], [[NC2TABLE]], [[TAYLORTARGETDIAGRAM]]
|programmiersprache=Fortran95
|zus_software= keine
|kontakt_original=[mailto:guenther.lang@baw.de G. Lang],[mailto:susanne.spohr@baw.de S. Spohr]
|kontakt_pflege=[mailto:guenther.lang@baw.de G. Lang],[mailto:susanne.spohr@baw.de S. Spohr]
|dokumentation=
* Vorträge:
** 2015-07-15: [http://ewisa.baw.de/files/12835_tv12_2015_07_15_ncdelta_g_lang.pdf ''NCDELTA - Differenzen neu berechnet''].
* Musterdateien:
** Musterdateien finden sich in '''$PROGHOME/examples/ncdelta/'''
}}

NCDELTA.DAT

2021-09-06T07:55:47Z

Rosenhagen:

{{Dateikennblatt
|name_en=NCDELTA.DAT
|dateityp=ncdelta.dat
|version=August 2021
|version_beschr=August 2021
|bedeutung=enthält allgemeine Eingabedaten für das Programm [[NCDELTA]]
|dateiinhalt=
'''Eingabesteuerdaten'''

* Block '''Program_Parameters''': Allgemeine Steuerdaten
*# '''Max_Read_Storage''': maximale Anzahl der Datenwerte, die für jede Eingangsvariable in einem Analysezyklus gelesen, gespeichert und verarbeitet werden können. Dieser Wert, multipliziert mit 24 (REAL Single) oder 48 (REAL Double), bezeichnet in etwa den Memory-Bedarf in Byte für [[NCDELTA]].
*# '''Max_Distance''': maximaler Abstand in [m] bis zu dem Punkte mit unterschiedlicher Lage verglichen werden.
*# (optional) '''Print_Modus_Classify''': Modus der informativen Druckerausgabe im Programmteil ''Klassifikation'':
*## '''0''' = keine ausführliche Ausgabe auf Drucker;
*## '''1''' = Variablen-Klassifizierung der Eingangsdateien in die SDR-Datei schreiben.
*# (optional) '''Print_Modus_Pairs''': Modus der informativen Druckerausgabe im Programmteil ''Primäre Partnervariable'':
*## '''0''' = keine ausführliche Ausgabe auf Drucker;
*## '''1''' = nur Testergebnisse der gefundenen Variablen-Paare werden in die SDR-Datei geschrieben;
*## '''2''' = auch Testergebnisse verworfener Kandidaten werden in die SDR-Datei geschrieben.
*# (optional) '''Print_Modus_Define''': Modus der informativen Druckerausgabe im Programmteil ''Definition Berechnungsergebnisse'':
*## '''0''' = keine ausführliche Ausgabe auf Drucker;
*## '''1''' = Informationen zu den Metadaten der Ergebnisdaten in die SDR-Datei schreiben.
*# (optional) '''Print_Modus_Compute''': Modus der informativen Druckerausgabe im Programmteil ''Berechnung der Ergebnisse'':
*## '''0''' = keine ausführliche Ausgabe auf Drucker;
*## '''1''' = Informationen zu den Ergebnisdaten in die SDR-Datei schreiben.
*# (optional) '''NC_Deflate_Level''': ''deflate level'' (0,1,2,...,9) für die Online-Kompression der Daten beim Schreiben. 0 bedeutet keine Kompression, 9 maximale Kompression
*# (optional) '''NC_Cmode_Id''': ''creation mode flag'' der [[NetCDF|CF NetCDF]] Methode [https://www.unidata.ucar.edu/software/netcdf/netcdf-4/newdocs/netcdf-f90/NF90_005fCREATE.html NF90_CREATE]. Typische Werte für diese Anwendung sind:
*#* 4 = '''NF90_64BIT_OFFSET''' (NetCDF-Datei mit 64Bit, kein HDF - keine Online-Kompression);
*#* 5 = '''NF90_CLASSIC_MODEL''' (HDF-Datei ohne Nutzung der erweiterten HDF-Möglichkeiten - mit Online-Kompression).
* Block '''Data_Files''': Dateien
*# '''Reference_File''': Datei (NETCDF) mit '''Referenz'''-Daten (Dateityp [[CF-NETCDF.NC|cf-netcdf.nc]]);
*# '''Variant_File''': Datei (NETCDF) mit '''Varianten'''-Daten (Dateityp [[CF-NETCDF.NC|cf-netcdf.nc]]);
*# '''Result_File''': Datei (NETCDF) für '''Ergebnis'''-Daten (Dateityp [[CF-NETCDF.NC|cf-netcdf.nc]]);
*# (optional) '''Reference_Period''': Start- und Enddatum der Vergleichsperiode für die Referenz-Daten (nur für synoptische Daten);
*# (optional) '''Variant_Period''': Start- und Enddatum der Vergleichsperiode für die Varianten-Daten (nur für synoptische Daten);
* (optional) Block '''Data_Operations''': Datenoperationen
*# (optional) '''With_Ordinary_Differences''': Gewöhnliche Differenzen (falls möglich) berechnen (.true.) oder nicht berechnen (.false.);
*# (optional) '''With_Taylor_Diagram_Data''': Daten für Taylor-Diagramm (falls möglich) berechnen (.true.) oder nicht berechnen (.false.); inklusive Skill nach Taylor (2001) Gleichungen 4 und 5;
*# (optional) '''With_Median''': Median (>=32 Ereignisse) berechnen (.true.) oder nicht berechnen (.false.);
*# (optional) '''With_Percentiles_05_95''': Perzentile Q05, Q95 (>= 32 Ereignisse) berechnen (.true.) oder nicht berechnen (.false.);
*# (optional) '''With_Percentiles_01_99''': Perzentile Q01, Q99 (>= 51 Ereignisse) berechnen (.true.) oder nicht berechnen (.false.);
*# (optional) '''With_Skill_Murphy_1988''': Skill nach Murphy (1988) Gleichung 4;
*# (optional) '''With_Skill_Willmott_1981''': Skill nach Willmott (1981) Index of agreement (d);
*# (optional) '''With_Original_Data''': Kopie der für die Berechnung der gewöhnlichen Differenzen benutzten Eingangsdaten.
* (optional) Block '''Exclude_Variable_From_NCDELTA''': Liste der auszuschließenden Variablen.
*# '''Variant_Variable''': Name einer Variablen aus dem ''Variant-File''. Key kann mehrfach angegeben werden. Mit Ausnahme der hier genannten Variablen werden alle vom Programm ermittelten primären Variablenpaare ausgewertet.
* (optional) Block '''Include_Only_Variable_for_NCDELTA''': Liste der exklusiv zu bearbeitenden Variablen.
*# '''Variant_Variable''': Name einer Variablen aus dem ''Variant-File''. Key kann mehrfach angegeben werden. Mit Ausnahme der hier genannten Variablen keine weiteren vom Programm ermittelten primären Variablenpaare ausgewertet.
* (optional) Block '''No_Normal_Vector_Variable''': Die Liste der Variablen, die Normalen-Vektoren sind wird (weitestgehend) automatisch von [[NCDELTA]] erzeugt. Bislang können nicht alle sicher erkannt werden. Mit dieser Liste werden Variablen von der Zugehörigkeit zur Klasse der Normalen-Vektor-Variablen '''''ausgeschlossen''''', falls deren automatische Zurodnung fehlerhaft ist.
*# '''Variable''': Name einer Variablen aus dem ''Variant-File'' oder dem ''Reference_File''. Key kann mehrfach angegeben werden.
* (optional) Block '''Normal_Vector_Variable''': Die Liste der Variablen, die Normalen-Vektoren sind wird (weitestgehend) automatisch von [[NCDELTA]] erzeugt. Bislang können nicht alle sicher erkannt werden. Mit dieser Liste werden Variablen in die Zugehörigkeit zur Klasse der Normalen-Vektor-Variablen '''''eingeschlossen''''', falls deren automatische Zurodnung fehlerhaft ist.
*# '''Variable''': Name einer Variablen aus dem ''Variant-File'' oder dem ''Reference_File''. Key kann mehrfach angegeben werden.
* (optional) Block '''Label_Relation''': Für den Vergleich ''fraktionierter'' Variable, für die ein Zusammenhang zwischen den einzelnen ''Fraktionen'' (Sediment, Partialtide. usw.) nicht automatisch hergestellt werden kann, muss der Zusammenhang vom Anwender vorgegeben werden. Block kann mehrfach angegeben werden.
*# '''Variant_Label_KV''': Name einer Label-Koordinatenvariable aus ''Variant_File'' oder ''NONE''.
*# '''Reference_Label_KV''': Name einer Label-Koordinatenvariable aus ''Reference_File'' oder ''NONE''.
*# '''Relation''': ''Name der ''Fraktion'' im Variant_File'' ''':''' ''Name der ''Fraktion'' im Reference_File''. Key kann mehrfach angegeben werden. Für den Namen ist ''NONE'' anzugeben, falls keine entsprechende Label-Koordinatenvariable vorhanden ist. Der Doppelpunkt dient als Trennzeichen.

===Anmerkungen===
# Benutzte '''Dictionary-Dateien''' aus dem Verzeichnis '''''$PROGHOME/dic/''''':
#* '''''ncdelta_dico.dat'''''.
# Anwendungsmöglichkeiten:
#* Fall 1: '''Reference_File''' = Simulation 1, '''Variant_File''' = Simulation 2;
#* Fall 2: '''Reference_File''' = Messung, '''Variant_File''' = Simulation;
#* Fall 3: '''Reference_File''' = Messung 1, '''Variant_File''' = Messung 2;
#: Es können entweder jeweils synoptische Daten ''oder'' Ergebnisse des Programms [[NCANALYSE]] verwendet werden.
# Allgemeine Anforderungen:
#* synoptische Daten:
#** Zeitraum muss gleich lang (nicht identisch) sein, und
#** Zeitschritt muss identisch sein.
#* Analyseergebnisse ([[NCANALYSE]]):
#** Analysezeitraum muss von vergleichbarer Länge sein, und
#** Anzahl der Ereignisse, z.B. Thw, muss identisch sein.
#* Z-Koordinatenvariablen:
#: z-Koordinaten-Variablen müssen, soweit vorhanden, entweder
#:* alle mit (CF-Attribut) positive = "down", oder
#:* alle mit (CF-Attribut) positive = "up"
#: vorliegen (siehe [http://cfconventions.org/ CF Metadaten Konvention]).
# Spezielle Anforderungen:
#* zu Fall 1:
#** gleiche Vertikalstruktur (Anzahl der Schichten), und
#** gleiche (Tracer-) Fraktionen (falls vorhanden).
#* zu Fall 2:
#** gleiche (Tracer-) Fraktionen (falls vorhanden), und
#** in den Messdaten dürfen an derselben (Geo-) Position (x,y) mehrere Messergebnisse in verschiedenen Tiefen (z) vorhanden sein. Außerdem muss
#** für Vergleiche mit gemessener Strömung das Attribut "name_id" der Variable "current_velocity" den Wert 836 aufweisen. Diese Voraussetzung sollte überprüft werden (z.B. mit ncdump). Falls diese Bedingung nicht erfüllt wird, so kann mit Hilfe des NCO-Tools NCATTED '''ncatted -a name_id,current_velocity,m,i,836 -O ''reference_file''.nc''' der Wert des Attributs auf 836 abgewandelt werden.
#* zu Fall 3:
#** (Geo-) Positionen (x,y) dürfen in jeder Datei jeweils nur einmal vorhanden sein; d.h., mehrere an einem Ort übereinander angeordnete Messergebnisse (verschiedene Tiefen (z) bei identischem (x,y)) werden von der aktuellen Version nicht unterstützt.

|nutzerprogramme=[[NCDELTA]]
|programmiersprache=Fortran90
|dateiform=FORMATTED
|dateizugriff=SEQUENTIAL
|dateiendung=.dat
|schreibmodule=interaktive Erstellung, Editor
|lesemodule=$PROGHOME/fortran/prg/ncdelta/*/mod_m_ncdelta_steer.f90
|kontakt_original=[mailto:guenther.lang@baw.de G. Lang], [mailto:susanne.spohr@baw.de S. Spohr]
|kontakt_pflege=[mailto:guenther.lang@baw.de G. Lang], [mailto:susanne.spohr@baw.de S. Spohr]
|beispieldatei=$PROGHOME/examples/ncdelta/ncdelta.dat
}}

NCDELTA

2021-09-06T07:36:09Z

Rosenhagen:

{{Programmkennblatt
|name_en=NCDELTA
|name=NCDELTA
|version=Juli 2020
|version_beschr=Juli 2020
|stichworte=Postprozessor 
Differenzen für synoptische Daten (optionale Beschränkung des Zeitraums) 
Differenzen für Kennwerte 
Differenzen für extensive Größen 
Eingangsdaten für Taylor-Diagramm 
Skill nach Murphy (1988) Gleichung 4 
Skill nach Taylor (2001) Gleichungen 4 und 5 
Skill nach Willmott (1981) Index of agreement (d) 
Median, Perzentile (Q01, Q05, Q95, Q99) 
Parallelisierung mit [http://openmp.org/wp/ OpenMP] 
[[NetCDF#Qualitätssicherung mit NetCDF-Attributen|(Teil-) Automatisierte Qualitätssicherung (Wertebereich)]] 
Automatische Anpassung der READ-Daten-Portionen an Chunk-Größe 
Automatisches Setzen der WRITE Chunk-Größe 
Ablage des Inhalts der ASCII-Eingabesteuerdateien in [[CF-NETCDF.NC|netcdf.nc]] (als Variable) 
Ablage der [https://de.wikipedia.org/wiki/Message-Digest_Algorithm_5 MD5-Hash]-Werte von Eingabedateien in [[CF-NETCDF.NC|netcdf.nc]] (als Variable) 
optionale Verwendung der ''Message Passing Interface'' (MPI, [https://www.mpi-forum.org/ MPI Forum])

Danksagung: ''This project took advantage of netCDF software developed by UCAR/Unidata ([http://www.unidata.ucar.edu/software/netcdf/ www.unidata.ucar.edu/software/netcdf/]).''

|kurzbeschreibung=
Das Programm berechnet Differenzen für vergleichbare Variablen (primäre Variablenpaare) sowie gegebenenfalls weitere, daraus abgeleitete statistische Daten, und außerdem Eingangsdaten für Taylor-Diagramme (Details siehe [[Differenzen der Berechnungsergebnisse]]). Das Zusammenführen der primären Variablenpaare erfolgt dabei weitestgehend automatisch, kann aber von dem Anwender in Grenzen manuell übersteuert werden (siehe [[NCDELTA.DAT|ncdelta.dat]]). Die primären Differenzen berechnen sich gemäß ''Vergleichsdaten'' '''minus''' ''Referenzdaten''.

Anforderungen an synoptische Daten mit jeweils konstantem Zeitschritt:
# Die Datensätze können eine unterschiedliche ''Anzahl'' von Terminen enthalten, allerdings müssen die zu vergleichenden Zeiträume gleich lang sein. Es können also verschiedene, aber gleich lange Zeiträume miteinander verglichen werden;
# Bei Datensätzen mit konstantem Zeitschritt dürfen sich die Zeitschritte um ein ganzzahliges Vielfaches voneinander unterscheiden.

Anforderungen an zu vergleichende (zeitabhängige) Daten mit variablem Zeitschritt:
# Die Datensätze müssen dieselbe ''Anzahl'' von Terminen enthalten, wobei die Zeiträume selbst verschieden sein dürfen.

Anmerkungen zur räumlichen Lage zu vergleichender Datensätze:
# Datensätze müssen nicht an denselben Positionen vorliegen;
# Die Datensätze müssen sich räumlich zu einem gewissen Grad überlappen;
# Die Koordinaten der Datensätze dürfen in verschiedenen Koordinatensystemen vorliegen, z. B. Gauß-Krüger und UTM;
# Die Daten einer Position werden mit den Daten der jeweils am nächsten liegenden Position verglichen, insofern der Abstand zwischen den Positionen einen maximal zulässigen Abstand (siehe [[NCDELTA.DAT|ncdelta.dat]]) nicht überschreitet.

Anmerkungen zum Vergleich extensiver Größen:
# Bei extensiven Größen wird als Gewicht die relevante Größe der Berechnungszelle berücksichtigt (Fläche, Länge).

|eingabedateien=
# '''allgemeine Eingabedaten''' (Dateityp [[NCDELTA.DAT|ncdelta.dat]]);
# '''Referenzdaten''', z. B. Ist-Zustand (Dateityp [[CF-NETCDF.NC|cf-netcdf.nc]]);
# '''Vergleichsdaten''', z. B. Variante (Dateityp [[CF-NETCDF.NC|cf-netcdf.nc]]);
# für eine [[NetCDF#Qualitätssicherung mit NetCDF-Attributen|(teil-) automatisierte Qualitätssicherung]] (Dateityp [[BOUNDS.CFG.DAT|bounds_verify.dat]]).

|ausgabedateien=
# '''Ergebnisse''' (Dateityp [[CF-NETCDF.NC|cf-netcdf.nc]])
# (optional) Datei mit '''Informationen zum Programmablauf''' (Dateityp ncdelta.sdr)
# (optional) Datei mit '''Testausgaben''' (Dateityp ncdelta.trc)
|methode=
Das Programm untergliedert sich im Wesentlichen in folgende Abschnitte:
# Lesen, Prüfen und Druckerausgabe der Steuerdaten des Anwenders;
# Metadaten der ''Referenzdaten'' lesen;
# Metadaten der ''Vergleichsdaten'' lesen;
# Metadaten der Referenz- und Vergleichsdaten in programminterne Datenobjekte transferieren;
# Metadaten vergleichen und auf grundlegende Inkonsistenzen (insbesondere Referenzpositionen) überprüfen;
# Klassifizierung der Referenz- und Vergleichsdaten durchführen;
# Primäre Variablenpaare finden: eine Vergleichsvariable hat genau eine Referenzvariable als Partner; aus den zu einem primären Variablenpaar gehörenden Variablen werden später die primären Ergebnisdaten erzeugt;
# Bestimmen der aus den Referenz- und Vergleichsdaten in die Ergebnisdatei zu kopierenden Variablen;
# Ermitteln der für die räumliche Interpolation der Referenzdaten auf die Positionen der Vergleichsdaten erforderlichen Matrizen;
# Erzeugen der Metadaten für die Ergebnisdatei; diese setzen sich i. W. aus den Metadaten der zu kopierenden Variablen, der primären Berechnungsergebnisse, neu zu erzeugenden Koordinatenvariablen (Zeit, Vertikale), sowie zu kopierender oder neu zu erzeugender Gewichts- und weiterer Hilfsvariablen zusammen;
# Kopieren der aus den Eingangsdateien in die Ergebnisdatei zu kopierenden Daten;
# Berechnen aller primären Ergebnisvariablen, (neuer) Zeit- und Vertikalkoordinaten, sowie Gewichte und Hilfsvariablen. Bei primären Ergebnisvariablen werden optional vorhandene Hilfsvariablen mit Modifikator ''status_flag'' im ''standard_name'' berücksichtigt, insofern die Bedeutung ''good'' durch ein Bit (Flag) repräsentiert wird.
# Für die Definition der verschiedenen Skills wird auf nachfolgende Literatur verwiesen:
#* Murphy, Allan H. (1988) "Skill Scores Based on the Mean Square Error and Their Relationship to the Correlation Coefficient". Monthly Weather Review, Dec. 1988, Seiten 2417 - 2424.
#* Taylor, Karl E. (2001) "Summarizing multiple aspects of model performance in a single diagram". Journal of Geophysical Research, Vol 106, No. D7, April 16, 2001, Seiten 7183 - 7192.
#* Willmott, Cort J. (1981) "On the validation of models". Physical Geography, Seiten 184–194.

Falls beim Lesen von Daten ein '''HDF error''' auftritt wird versucht, die Werte des gewünschten Datenrecords aus den Werten zeitlich benachbarter Records zu rekonstruieren (Interpolation). Diese Reparatur funktioniert ausschließlich für von der Zeit abhängige Variablen. 

Ein Leitfaden zur Erfassung der DMQS-Metadaten steht [[Leitfaden_Metadaten_Küstengewässer|hier]].

|preprozessor=[[DATACONVERT]], [[BOE2NC]], [[NCAGGREGATE]], [[NCANALYSE]], [[NCCHUNKIE]], [[NCCUTOUT]], [[NCRCATMAT]], [[NetCDF Operators]], [[UNK]], [[UNTRIM2007]], [[UNTRIM2]]
|postprozessor=[[DAVIT]], [[NCAUTO]], [[NCCHUNKIE]], [[NCCUTOUT]], [[NCPLOT]], [[NCPOLO]], [[NCVIEW2D]], [[NC2TABLE]], [[TAYLORTARGETDIAGRAM]]
|programmiersprache=Fortran95
|zus_software= keine
|kontakt_original=[mailto:guenther.lang@baw.de G. Lang],[mailto:susanne.spohr@baw.de S. Spohr]
|kontakt_pflege=[mailto:guenther.lang@baw.de G. Lang],[mailto:susanne.spohr@baw.de S. Spohr]
|dokumentation=
* Vorträge:
** 2015-07-15: [http://ewisa.baw.de/files/12835_tv12_2015_07_15_ncdelta_g_lang.pdf ''NCDELTA - Differenzen neu berechnet''].
* Musterdateien:
** Musterdateien finden sich in '''$PROGHOME/examples/ncdelta/'''
}}