NetCDF - Versionsgeschichte

Ak3glang: /* Wichtige NetCDF Hilfsmethoden */ Link auf Utilities aktualisiert

2020-06-19T14:47:23Z

Wichtige NetCDF Hilfsmethoden: Link auf Utilities aktualisiert

← Nächstältere Version		Version vom 19. Juni 2020, 14:47 Uhr
Zeile 11:		Zeile 11:

	Die wichtigsten Hilfsmethoden der NetCDF ''Utilities'' sind:		Die wichtigsten Hilfsmethoden der NetCDF ''Utilities'' sind:
	* [~~http~~://www.unidata.ucar.edu/software/netcdf/~~docs~~/~~netcdf_utilities_guide~~.html~~#guide_ncdump~~ NCDUMP] Inhalt einer NetCDF Datei als Text (selektiv) ausgeben;		* [https://www.unidata.ucar.edu/software/netcdf/workshops/2011/utilities/Ncdump.html NCDUMP] Inhalt einer NetCDF Datei als Text (selektiv) ausgeben;
	* [~~http~~://www.unidata.ucar.edu/software/netcdf/~~docs~~/~~netcdf_utilities_guide~~.html~~#guide_nccopy~~ NCCOPY] Inhalt einer NetCDF Datei selektiv kopieren, Kompressionsniveau abwandeln, innere Struktur der Datei (''File Chunking'') abwandeln; und		* [https://www.unidata.ucar.edu/software/netcdf/workshops/2011/utilities/Nccopy.html NCCOPY] Inhalt einer NetCDF Datei selektiv kopieren, Kompressionsniveau abwandeln, innere Struktur der Datei (''File Chunking'') abwandeln; und
	* [~~http~~://www.unidata.ucar.edu/software/netcdf/~~docs~~/~~netcdf_utilities_guide~~.html~~#guide_ncgen~~ NCGEN] erzeugt eine NetCDF Datei aus einer CDL Textdatei; optional kann auch C oder FORTRAN Code automatisch damit erzeugt werden.		* [https://www.unidata.ucar.edu/software/netcdf/workshops/2011/utilities/Ncgen.html NCGEN] erzeugt eine NetCDF Datei aus einer CDL Textdatei; optional kann auch C oder FORTRAN Code automatisch damit erzeugt werden.
	Einen guten Gesamtüberblick gibt die [http://www.unidata.ucar.edu/software/netcdf/docs/index.html NetCDF-Dokumentation].		Einen guten Gesamtüberblick gibt die [http://www.unidata.ucar.edu/software/netcdf/docs/index.html NetCDF-Dokumentation].

imported>Lang Guenther: /* Literatur */ Lang, G. (2018) ergänzt

2018-06-05T09:23:01Z

Literatur: Lang, G. (2018) ergänzt

← Nächstältere Version		Version vom 5. Juni 2018, 09:23 Uhr
Zeile 30:		Zeile 30:

	[https://www.researchgate.net/publication/303822983_Uniform_post-processing_of_computational_results_based_on_UGRID_CF_NetCDF_files Lang, G. (2016) "Uniform post-processing of computational results based on UGRID CF netCDF files"], 13th International [[UNTRIM\|UnTRIM]] Users Workshop 2016, Villa Madruzzo, Italy, May 30th - June 1st ([[doi:10.13140/RG.2.1.5059.8000]]).		[https://www.researchgate.net/publication/303822983_Uniform_post-processing_of_computational_results_based_on_UGRID_CF_NetCDF_files Lang, G. (2016) "Uniform post-processing of computational results based on UGRID CF netCDF files"], 13th International [[UNTRIM\|UnTRIM]] Users Workshop 2016, Villa Madruzzo, Italy, May 30th - June 1st ([[doi:10.13140/RG.2.1.5059.8000]]).

			[https://www.researchgate.net/publication/325545134_A_few_remarks_on_chunked_IO_using_netCDF-4HDF5_Fortran_API Lang, G. (2018) "A few remarks on chunked I/O using netCDF-4/HDF5"], 15th International [[UNTRIM\|UnTRIM]] Users Workshop 2018, Villa Madruzzo, Italy, May 28th - May 30th ([[doi:10.13140/RG.2.2.31262.23368]]).

	[http://www.mdpi.com/2077-1312/2/1/194/htm Signell, R. P. und Snowden, D. P. (2014) ''Advances in a Distributed Approach for Ocean Model Data Interoperability''. J. Mar. Sci. Eng. 2014, 2, 194-208]. Verweist u. a. auf die Vorteile der Verwendung des UGRID CF Standards für die Speicherung von Daten in netCDF-Dateien.		[http://www.mdpi.com/2077-1312/2/1/194/htm Signell, R. P. und Snowden, D. P. (2014) ''Advances in a Distributed Approach for Ocean Model Data Interoperability''. J. Mar. Sci. Eng. 2014, 2, 194-208]. Verweist u. a. auf die Vorteile der Verwendung des UGRID CF Standards für die Speicherung von Daten in netCDF-Dateien.

imported>Lang Guenther: /* File Chunking */ NCCHUNKIE added

2018-04-23T07:44:08Z

File Chunking: NCCHUNKIE added

← Nächstältere Version		Version vom 23. April 2018, 07:44 Uhr
Zeile 17:		Zeile 17:

	==File Chunking==		==File Chunking==
	Die ''Chunk Size'' der in einer CF NetCDF abgelegten Variablen kann die Geschwindigkeit, mit der diese entlang verschiedener Dimensionen gelesen werden kann, erheblich beeinflussen. Typisch für unterschiedliche Zugriffe ist z. B. der räumliche (synoptische) Zugriff gegenüber dem Zeitserien-Zugriff. Die ''Chunk Size'' kann sehr allgemein über die NetCDF API individuell optimiert werden. In vielen Situationen können befriedigende Ergebnisse allerdings auch schon auf sehr einfachem Wege mit Hilfe ~~des Hilfsprogramms~~ [http://www.unidata.ucar.edu/software/netcdf/docs/netcdf_utilities_guide.html#guide_nccopy NCCOPY] erzielt werden. Für weitergehende Informationen lese man:		Die ''Chunk Size'' der in einer CF NetCDF abgelegten Variablen kann die Geschwindigkeit, mit der diese entlang verschiedener Dimensionen gelesen werden kann, erheblich beeinflussen. Typisch für unterschiedliche Zugriffe ist z. B. der räumliche (synoptische) Zugriff gegenüber dem Zeitserien-Zugriff. Die ''Chunk Size'' kann sehr allgemein über die NetCDF API individuell optimiert werden. In vielen Situationen können befriedigende Ergebnisse allerdings auch schon auf sehr einfachem Wege mit Hilfe der Hilfsprogramme [http://www.unidata.ucar.edu/software/netcdf/docs/netcdf_utilities_guide.html#guide_nccopy NCCOPY] oder [[NCCHUNKIE]] erzielt werden. Für weitergehende Informationen lese man:
	* [http://www.unidata.ucar.edu/blogs/developer/en/entry/chunking_data_why_it_matters ''Chunking Data - Why it matters'']; und		* [http://www.unidata.ucar.edu/blogs/developer/en/entry/chunking_data_why_it_matters ''Chunking Data - Why it matters'']; und
	* [http://www.unidata.ucar.edu/blogs/developer/en/entry/chunking_data_choosing_shapes ''Chunking Data - Choosing shapes''].		* [http://www.unidata.ucar.edu/blogs/developer/en/entry/chunking_data_choosing_shapes ''Chunking Data - Choosing shapes''].

imported>Lang Guenther: /* Wie man Unidata danken kann */ DOI hinzugefügt

2018-02-09T13:55:54Z

Wie man Unidata danken kann: DOI hinzugefügt

← Nächstältere Version		Version vom 9. Februar 2018, 13:55 Uhr
Zeile 46:		Zeile 46:

	* Unidata, (year): Package name version number [software]. Boulder, CO: UCAR/Unidata Program Center. Available from URL-to-software-page.		* Unidata, (year): Package name version number [software]. Boulder, CO: UCAR/Unidata Program Center. Available from URL-to-software-page.

			===DOI===

			* The registered Digital Object Identifier for all versions of netCDF software is [http://doi.org/10.5065/D6H70CW6 http://doi.org/10.5065/D6H70CW6].

	==Wo wird NetCDF verwendet?==		==Wo wird NetCDF verwendet?==

imported>Lang Guenther: /* Automatische Verifikation des Wertebereichs */ Link auf Maschinengenauigkeit

2017-11-28T21:22:08Z

Automatische Verifikation des Wertebereichs: Link auf Maschinengenauigkeit

← Nächstältere Version		Version vom 28. November 2017, 21:22 Uhr
Zeile 69:		Zeile 69:
	Das Ergebnis des Vergleichs der aktuellen mit den zulässigen Wertebereichen wird in (Drucker-) SDR-Dateien protokolliert. Die dort vorhanden Informationen zeigen dem Anwender an, ob eine Verletzung des zulässigen Wertebereichs vorliegt oder nicht. Einen schnellen Überblick erhält man mit '''grep Pruefergebnis''' auf die SDR-Datei.		Das Ergebnis des Vergleichs der aktuellen mit den zulässigen Wertebereichen wird in (Drucker-) SDR-Dateien protokolliert. Die dort vorhanden Informationen zeigen dem Anwender an, ob eine Verletzung des zulässigen Wertebereichs vorliegt oder nicht. Einen schnellen Überblick erhält man mit '''grep Pruefergebnis''' auf die SDR-Datei.

	Beim Vergleich des aktuellen mit dem zulässigen Wertebereich wird bei reellwertigen Variablen die Maschinengenauigkeit (''machine epsilon'') verwendet, die sich mit Hilfe von (Fortran) EPSILON wie folgt darstellt:		Beim Vergleich des aktuellen mit dem zulässigen Wertebereich wird bei reellwertigen Variablen die [https://de.wikipedia.org/wiki/Maschinengenauigkeit Maschinengenauigkeit] (''machine epsilon'') verwendet, die sich mit Hilfe von (Fortran) EPSILON wie folgt darstellt:
	* Variable mit einfacher Genauigkeit: ca. 1.2E-07;		* Variable mit einfacher Genauigkeit: ca. 1.2E-07;
	* Variable mit doppelter Genauigkeit: ca. 2.2E-16.		* Variable mit doppelter Genauigkeit: ca. 2.2E-16.

imported>Lang Guenther: /* Automatische Verifikation des Wertebereichs */ Text zu Toleranz verkürzt

2017-11-27T16:09:18Z

Automatische Verifikation des Wertebereichs: Text zu Toleranz verkürzt

← Nächstältere Version		Version vom 27. November 2017, 16:09 Uhr
Zeile 72:		Zeile 72:
	* Variable mit einfacher Genauigkeit: ca. 1.2E-07;		* Variable mit einfacher Genauigkeit: ca. 1.2E-07;
	* Variable mit doppelter Genauigkeit: ca. 2.2E-16.		* Variable mit doppelter Genauigkeit: ca. 2.2E-16.
	~~Die~~ zulässige Toleranz ~~ist von der Größenordnung der Daten abhängig ergibt sich zu~~ 2 * EPSILON * ~~MAXVAL(~~ABS(data)).		Für Daten folgt daraus für die zulässige Toleranz 2 * EPSILON * ABS(data).

	=Globale Attribute=		=Globale Attribute=

imported>Lang Guenther: /* Qualitätssicherung mit NetCDF-Attributen */ Hinweise bei Toleranz aktualisiert/präzisiert

2017-11-27T16:01:15Z

Qualitätssicherung mit NetCDF-Attributen: Hinweise bei Toleranz aktualisiert/präzisiert

← Nächstältere Version		Version vom 27. November 2017, 16:01 Uhr
Zeile 69:		Zeile 69:
	Das Ergebnis des Vergleichs der aktuellen mit den zulässigen Wertebereichen wird in (Drucker-) SDR-Dateien protokolliert. Die dort vorhanden Informationen zeigen dem Anwender an, ob eine Verletzung des zulässigen Wertebereichs vorliegt oder nicht. Einen schnellen Überblick erhält man mit '''grep Pruefergebnis''' auf die SDR-Datei.		Das Ergebnis des Vergleichs der aktuellen mit den zulässigen Wertebereichen wird in (Drucker-) SDR-Dateien protokolliert. Die dort vorhanden Informationen zeigen dem Anwender an, ob eine Verletzung des zulässigen Wertebereichs vorliegt oder nicht. Einen schnellen Überblick erhält man mit '''grep Pruefergebnis''' auf die SDR-Datei.

	Beim Vergleich des aktuellen mit dem zulässigen Wertebereich ~~werden~~ bei reellwertigen Variablen ~~folgende Toleranzen zum akzeptiert~~:		Beim Vergleich des aktuellen mit dem zulässigen Wertebereich wird bei reellwertigen Variablen die Maschinengenauigkeit (''machine epsilon'') verwendet, die sich mit Hilfe von (Fortran) EPSILON wie folgt darstellt:
	* Variable mit einfacher Genauigkeit: ca. 1.2E-06;		* Variable mit einfacher Genauigkeit: ca. 1.2E-07;
	* Variable mit doppelter Genauigkeit: ca. 2.2E-~~015~~.		* Variable mit doppelter Genauigkeit: ca. 2.2E-16.
	Die ~~Tolerenzen entsprechen dem Zehnfachen des mit~~ (~~Fortran~~) ~~EPSILON ermittelten Werts~~.		Die zulässige Toleranz ist von der Größenordnung der Daten abhängig ergibt sich zu 2 * EPSILON * MAXVAL(ABS(data)).

	=Globale Attribute=		=Globale Attribute=

imported>Lang Guenther: /* Automatische Verifikation des Wertebereichs */ Tippfehler

2017-11-23T11:02:29Z

Automatische Verifikation des Wertebereichs: Tippfehler

← Nächstältere Version		Version vom 23. November 2017, 11:02 Uhr
Zeile 72:		Zeile 72:
	* Variable mit einfacher Genauigkeit: ca. 1.2E-06;		* Variable mit einfacher Genauigkeit: ca. 1.2E-06;
	* Variable mit doppelter Genauigkeit: ca. 2.2E-015.		* Variable mit doppelter Genauigkeit: ca. 2.2E-015.
	Die Tolerenzen entsprechen dem ~~Zehfachen~~ des mit (Fortran) EPSILON ermittelten Werts.		Die Tolerenzen entsprechen dem Zehnfachen des mit (Fortran) EPSILON ermittelten Werts.

	=Globale Attribute=		=Globale Attribute=

imported>Lang Guenther: /* Qualitätssicherung mit NetCDF-Attributen */ Tippfehler

2017-11-23T10:48:16Z

Qualitätssicherung mit NetCDF-Attributen: Tippfehler

← Nächstältere Version		Version vom 23. November 2017, 10:48 Uhr
Zeile 53:		Zeile 53:
	==Qualitätssicherung mit NetCDF-Attributen==		==Qualitätssicherung mit NetCDF-Attributen==

	Die [[Qualitätssicherung]] von Analyseergebnissen ~~wir~~ von den Programmen [[NCANALYSE]], [[NCDELTA]] und [[NCAGGREGATE]] auf der Basis verschiedener NetCDF-Attribute unterstützt.		Die [[Qualitätssicherung]] von Analyseergebnissen wird von den Programmen [[NCANALYSE]], [[NCDELTA]] und [[NCAGGREGATE]] auf der Basis verschiedener NetCDF-Attribute unterstützt.

	===Attribut ''actual_range''===		===Attribut ''actual_range''===

imported>Lang Guenther: /* Wo wird NetCDF verwendet? */ Qualitätssicherung mit NetCDF-Attributen ergänzt

2017-11-23T10:39:00Z

Wo wird NetCDF verwendet?: Qualitätssicherung mit NetCDF-Attributen ergänzt

← Nächstältere Version		Version vom 23. November 2017, 10:39 Uhr
Zeile 50:		Zeile 50:

	Für eine Übersicht siehe [http://www.unidata.ucar.edu/software/netcdf/usage.html ''Where is NetCDF used?''].		Für eine Übersicht siehe [http://www.unidata.ucar.edu/software/netcdf/usage.html ''Where is NetCDF used?''].

			==Qualitätssicherung mit NetCDF-Attributen==

			Die [[Qualitätssicherung]] von Analyseergebnissen wir von den Programmen [[NCANALYSE]], [[NCDELTA]] und [[NCAGGREGATE]] auf der Basis verschiedener NetCDF-Attribute unterstützt.

			===Attribut ''actual_range''===

			Darin wird der aktuelle Wertebereich einer (geophysikalischen) Variablen festgehalten. Mit '''ncdump -h''' kann der Anwender sich alle relevanten Metadaten einer NetCDF-Datei ausgeben lassen. Das Ergebnis dieses Befehls kann mit '''grep''' nach dem Attribut '''actual_range''' durchsucht werden. Auf diesem Wege erhält man eine einfache Übersicht, ob der aktuelle Wertebereich einer Variablen zulässig ist oder nicht.

			===Automatische Verifikation des Wertebereichs===

			Die oben genannten Programme führen beim Schließen der von ihnen erzeugten NetCDF-Dateien einen automatischen Vergleich des aktuellen mit dem zulässigen Wertebereich durch, insofern
			* das Attribut ''actual_range'' (aktueller Wertebereich),
			* das Attribut ''cfg_bounds_name'' (Klasse des zulässigen Wertebereichs), und
			* eine Datei des Typs [[BOUNDS.CFG.DAT\|bounds_verify.dat]] (Beschreibung der zulässigen Wertebereiche für alle Klassen)
			vorhanden sind. $PROGHOME/cfg/dmqs/bounds/bounds_verify.dat enthält z. B. typische Angaben zu den zulässigen Wertebereichen der verschiedenen (Variablen-) Klassen.

			Das Ergebnis des Vergleichs der aktuellen mit den zulässigen Wertebereichen wird in (Drucker-) SDR-Dateien protokolliert. Die dort vorhanden Informationen zeigen dem Anwender an, ob eine Verletzung des zulässigen Wertebereichs vorliegt oder nicht. Einen schnellen Überblick erhält man mit '''grep Pruefergebnis''' auf die SDR-Datei.

			Beim Vergleich des aktuellen mit dem zulässigen Wertebereich werden bei reellwertigen Variablen folgende Toleranzen zum akzeptiert:
			* Variable mit einfacher Genauigkeit: ca. 1.2E-06;
			* Variable mit doppelter Genauigkeit: ca. 2.2E-015.
			Die Tolerenzen entsprechen dem Zehfachen des mit (Fortran) EPSILON ermittelten Werts.

	=Globale Attribute=		=Globale Attribute=