NCDELTA: Unterschied zwischen den Versionen
Aus BAWiki
imported>Lang Guenther (Versionsdatum modifiziert) |
imported>Lang Guenther (Hinweise auf Skill nach Taylor (2001) sowie Murphy (1988)) |
||
Zeile 2: | Zeile 2: | ||
|name_en=NCDELTA | |name_en=NCDELTA | ||
|name=NCDELTA | |name=NCDELTA | ||
|version= | |version=August 2018 | ||
|version_beschr= | |version_beschr=August 2018 | ||
|stichworte=Postprozessor<br /> | |stichworte=Postprozessor<br /> | ||
Differenzen für synoptische Daten (optionale Beschränkung des Zeitraums)<br /> | Differenzen für synoptische Daten (optionale Beschränkung des Zeitraums)<br /> | ||
Zeile 9: | Zeile 9: | ||
Differenzen für extensive Größen<br /> | Differenzen für extensive Größen<br /> | ||
Eingangsdaten für Taylor-Diagramm<br /> | Eingangsdaten für Taylor-Diagramm<br /> | ||
Skill nach Murphy (1988) Gleichung 4<br /> | |||
Skill nach Taylor (2001) Gleichungen 4 und 5<br /> | |||
Median, Perzentile (Q01, Q05, Q95, Q99)<br /> | Median, Perzentile (Q01, Q05, Q95, Q99)<br /> | ||
Parallelisierung mit [http://openmp.org/wp/ OpenMP]<br /> | Parallelisierung mit [http://openmp.org/wp/ OpenMP]<br /> | ||
Zeile 60: | Zeile 62: | ||
# Kopieren der aus den Eingangsdateien in die Ergebnisdatei zu kopierenden Daten; | # Kopieren der aus den Eingangsdateien in die Ergebnisdatei zu kopierenden Daten; | ||
# Berechnen aller primären Ergebnisvariablen, (neuer) Zeit- und Vertikalkoordinaten, sowie Gewichte und Hilfsvariablen. Bei primären Ergebnisvariablen werden optional vorhandene Hilfsvariablen mit Modifikator ''status_flag'' im ''standard_name'' berücksichtigt, insofern die Bedeutung ''good'' durch ein Bit (Flag) repräsentiert wird. | # Berechnen aller primären Ergebnisvariablen, (neuer) Zeit- und Vertikalkoordinaten, sowie Gewichte und Hilfsvariablen. Bei primären Ergebnisvariablen werden optional vorhandene Hilfsvariablen mit Modifikator ''status_flag'' im ''standard_name'' berücksichtigt, insofern die Bedeutung ''good'' durch ein Bit (Flag) repräsentiert wird. | ||
# Für die Definition der verschiedenen Skills wird auf nachfolgende Literatur verwiesen: | |||
#* Murphy, Allan H. (1988) "Skill Scores Based on the Mean Square Error and Their Relationship to the Correlation Coefficient". Monthly Weather Review, Dec. 1988, Seiten 2417 - 2424. | |||
#* Taylor, Karl E. (2001) "Summarizing multiple aspects of model performance in a single diagram". Journal of Geophysical Research, Vol 106, No. D7, April 16, 2001, Pages 7183 - 7192. | |||
Falls beim Lesen von Daten ein '''HDF error''' auftritt wird versucht, die Werte des gewünschten Datenrecords aus den Werten zeitlich benachbarter Records zu rekonstruieren (Interpolation). Diese Reparatur funktioniert ausschließlich für von der Zeit abhängige Variablen. <br> | Falls beim Lesen von Daten ein '''HDF error''' auftritt wird versucht, die Werte des gewünschten Datenrecords aus den Werten zeitlich benachbarter Records zu rekonstruieren (Interpolation). Diese Reparatur funktioniert ausschließlich für von der Zeit abhängige Variablen. <br> |
Version vom 20. August 2018, 15:30 Uhr
Basisinformationen
Programm-Name
NCDELTA
Version
August 2018
Beschreibung
August 2018
Stichworte
Postprozessor
Differenzen für synoptische Daten (optionale Beschränkung des Zeitraums)
Differenzen für Kennwerte
Differenzen für extensive Größen
Eingangsdaten für Taylor-Diagramm
Skill nach Murphy (1988) Gleichung 4
Skill nach Taylor (2001) Gleichungen 4 und 5
Median, Perzentile (Q01, Q05, Q95, Q99)
Parallelisierung mit OpenMP
(Teil-) Automatisierte Qualitätssicherung (Wertebereich)
Automatische Anpassung der READ-Daten-Portionen an Chunk-Größe
Automatisches Setzen der WRITE Chunk-Größe
Danksagung: This project took advantage of netCDF software developed by UCAR/Unidata (www.unidata.ucar.edu/software/netcdf/).
Kurzbeschreibung
Das Programm berechnet Differenzen für vergleichbare Variablen (primäre Variablenpaare) sowie gegebenenfalls weitere, daraus abgeleitete statistische Daten, und außerdem Eingangsdaten für Taylor-Diagramme (Details siehe Differenzen der Berechnungsergebnisse). Das Zusammenführen der primären Variablenpaare erfolgt dabei weitestgehend automatisch, kann aber von dem Anwender in Grenzen manuell übersteuert werden (siehe ncdelta.dat). Die primären Differenzen berechnen sich gemäß Vergleichsdaten minus Referenzdaten.
Anforderungen an synoptische Daten mit jeweils konstantem Zeitschritt:
- Die Datensätze können eine unterschiedliche Anzahl von Terminen enthalten, allerdings müssen die zu vergleichenden Zeiträume gleich lang sein. Es können also verschiedene, aber gleich lange Zeiträume miteinander verglichen werden;
- Bei Datensätzen mit konstantem Zeitschritt dürfen sich die Zeitschritte um ein ganzzahliges Vielfaches voneinander unterscheiden.
Anforderungen an zu vergleichende (zeitabhängige) Daten mit variablem Zeitschritt:
- Die Datensätze müssen dieselbe Anzahl von Terminen enthalten, wobei die Zeiträume selbst verschieden sein dürfen.
Anmerkungen zur räumlichen Lage zu vergleichender Datensätze:
- Datensätze müssen nicht an denselben Positionen vorliegen;
- Die Datensätze müssen sich räumlich zu einem gewissen Grad überlappen;
- Die Koordinaten der Datensätze dürfen in verschiedenen Koordinatensystemen vorliegen, z. B. Gauß-Krüger und UTM;
- Die Daten einer Position werden mit den Daten der jeweils am nächsten liegenden Position verglichen, insofern der Abstand zwischen den Positionen einen maximal zulässigen Abstand (siehe ncdelta.dat) nicht überschreitet.
Anmerkungen zum Vergleich extensiver Größen:
- Bei extensiven Größen wird als Gewicht die relevante Größe der Berechnungszelle berücksichtigt (Fläche, Länge).
Eingabe-Dateien
- allgemeine Eingabedaten (Dateityp ncdelta.dat);
- Referenzdaten, z. B. Ist-Zustand (Dateityp cf-netcdf.nc);
- Vergleichsdaten, z. B. Variante (Dateityp cf-netcdf.nc);
- für eine (teil-) automatisierte Qualitätssicherung (Dateityp bounds_verify.dat).
Ausgabe-Dateien
- Ergebnisse (Dateityp cf-netcdf.nc)
- (optional) Datei mit Informationen zum Programmablauf (Dateityp ncdelta.sdr)
- (optional) Datei mit Testausgaben (Dateityp ncdelta.trc)
Methode
Das Programm untergliedert sich im Wesentlichen in folgende Abschnitte:
- Lesen, Prüfen und Druckerausgabe der Steuerdaten des Anwenders;
- Metadaten der Referenzdaten lesen;
- Metadaten der Vergleichsdaten lesen;
- Metadaten der Referenz- und Vergleichsdaten in programminterne Datenobjekte transferieren;
- Metadaten vergleichen und auf grundlegende Inkonsistenzen (insbesondere Referenzpositionen) überprüfen;
- Klassifizierung der Referenz- und Vergleichsdaten durchführen;
- Primäre Variablenpaare finden: eine Vergleichsvariable hat genau eine Referenzvariable als Partner; aus den zu einem primären Variablenpaar gehörenden Variablen werden später die primären Ergebnisdaten erzeugt;
- Bestimmen der aus den Referenz- und Vergleichsdaten in die Ergebnisdatei zu kopierenden Variablen;
- Ermitteln der für die räumliche Interpolation der Referenzdaten auf die Positionen der Vergleichsdaten erforderlichen Matrizen;
- Erzeugen der Metadaten für die Ergebnisdatei; diese setzen sich i. W. aus den Metadaten der zu kopierenden Variablen, der primären Berechnungsergebnisse, neu zu erzeugenden Koordinatenvariablen (Zeit, Vertikale), sowie zu kopierender oder neu zu erzeugender Gewichts- und weiterer Hilfsvariablen zusammen;
- Kopieren der aus den Eingangsdateien in die Ergebnisdatei zu kopierenden Daten;
- Berechnen aller primären Ergebnisvariablen, (neuer) Zeit- und Vertikalkoordinaten, sowie Gewichte und Hilfsvariablen. Bei primären Ergebnisvariablen werden optional vorhandene Hilfsvariablen mit Modifikator status_flag im standard_name berücksichtigt, insofern die Bedeutung good durch ein Bit (Flag) repräsentiert wird.
- Für die Definition der verschiedenen Skills wird auf nachfolgende Literatur verwiesen:
- Murphy, Allan H. (1988) "Skill Scores Based on the Mean Square Error and Their Relationship to the Correlation Coefficient". Monthly Weather Review, Dec. 1988, Seiten 2417 - 2424.
- Taylor, Karl E. (2001) "Summarizing multiple aspects of model performance in a single diagram". Journal of Geophysical Research, Vol 106, No. D7, April 16, 2001, Pages 7183 - 7192.
Falls beim Lesen von Daten ein HDF error auftritt wird versucht, die Werte des gewünschten Datenrecords aus den Werten zeitlich benachbarter Records zu rekonstruieren (Interpolation). Diese Reparatur funktioniert ausschließlich für von der Zeit abhängige Variablen.
Ein Leitfaden zur Erfassung der DMQS-Metadaten steht hier.
Vorlauf-Programme
DATACONVERT, NCAGGREGATE, NCANALYSE, NCCHUNKIE, NCRCATMAT, NetCDF Operators, UNK, UNTRIM2007, UNTRIM2
Nachlauf-Programme
DAVIT, NCAUTO, NCCHUNKIE, NCPLOT, NC2TABLE, TAYLORDIAGRAM
Weitere Informationen
Programmiersprache
Fortran95
zusätzliche Software
keine
Originalversion
Programmpflege
Dokumentation/Literatur
- Vorträge:
- 2015-07-15: NCDELTA - Differenzen neu berechnet.
- Musterdateien:
- Musterdateien finden sich in $PROGHOME/examples/ncdelta/
zurück zu Programmkennblätter