NetCDF: Unterschied zwischen den Versionen
Aus BAWiki
imported>Lang Guenther (→Reduktion der Datensatzgröße: Text präzisiert) |
imported>Lang Guenther (→Allgemeines: Abschnitt GRIB vs. NetCDF ergänzt) |
||
| Zeile 28: | Zeile 28: | ||
* [http://www.unidata.ucar.edu/blogs/developer/en/entry/chunking_data_why_it_matters ''Chunking Data - Why it matters'']; und | * [http://www.unidata.ucar.edu/blogs/developer/en/entry/chunking_data_why_it_matters ''Chunking Data - Why it matters'']; und | ||
* [http://www.unidata.ucar.edu/blogs/developer/en/entry/chunking_data_choosing_shapes ''Chunking Data - Choosing shapes'']. | * [http://www.unidata.ucar.edu/blogs/developer/en/entry/chunking_data_choosing_shapes ''Chunking Data - Choosing shapes'']. | ||
==NetCDF vs. GRIB== | |||
Neben NetCDF ist GRIB ein weit verbreitetes Dateiformat. Zur Problematik der Unterschiede von NetCDF und GRIB wurde im September 2014 ein Workshop beim ECMWF abgehalten. Weitere Informationen auf der Website des Workshops [http://www.ecmwf.int/en/workshop-closing-grib/netcdf-gap ''Closing the GRIB/NetCDF gap'']. | |||
=Terminologie= | =Terminologie= | ||
Version vom 28. September 2014, 17:17 Uhr
Allgemeines
Zielsetzung dieser BAWiki-Seiten
Dieser Bereich des BAWiki enthält alle NetCDF-Konventionen, die zur Speicherung typischer BAW-spezifischer Daten in NetCDF-Dateien (siehe network common data form) erforderlich sind. Insbesondere werden auch alle lokalen Konventionen aufgeführt, die über die international vereinbarte CF-Metadaten-Konvention hinausgehen. Diese BAWiki-Plattform dient daher auch als Diskussionsforum zur Abstimmmung der zusätzlich erforderlichen Konventionen.
In allen Fällen, in denen die CF-Konventionen unzueichend sind, sollte zunächst geprüft werden, ob die Erweiterungen mit Deltares-Konventionen beschrieben werden können oder nicht - ggf. in Abstimmung mit Deltares die Deltares-Konventionen erweitern. Die als Standard vorgeschlagene Version befindet sich auf dem GITHUB. Weitere Aktivitäten im Umfeld von OpenDAP zur Selektion von Daten auf unstrukturierten Netzen findet man z. B. auf OPULS.
Weitere nützliche Mustervorlagen zur Verwendung insbesondere der globalen Attribute sind bei den NODC NetCDF Templates zu finden. Es ist vorgesehen, insbesondere die globalen Attribute Schritt für Schritt in die BAW Softwareumgebung zu integrieren.
Die zusätzlich benutzen Konventionen sollen in dem globalen NetCDF-Attribut Conventions z. B. wie folgt beschrieben werden:
- // global attributes:
- :Conventions = "CF-1.6" .
Die seit 2010 entwickelte BAW-Ausprägung einer NetCDF-Datei wird als Datei des Typs CF-NETCDF.NC bezeichnet.
Seit Version NetCDF-4.0 wird HDF (Hierarchical Data File, siehe HDF5 Group) als darunter liegendes Dateiformat verwendet. Damit werden Konzepte wie Online-Kompression der gelesenen/geschriebenen Daten sowie das File Chunking auch bei Verwendung der NetCDF API unterstützt.
Wichtige NetCDF Hilfsmethoden
Die wichtigsten Hilfsmethoden der NetCDF Utilities sind:
- NCDUMP Inhalt einer NetCDF Datei als Text (selektiv) ausgeben;
- NCCOPY Inhalt einer NetCDF Datei selektiv kopieren, Kompressionsniveau abwandeln, innere Struktur der Datei (File Chunking) abwandeln; und
- NCGEN3 erzeugt eine NetCDF Datei aus einer CDL Textdatei; optional kann auch C oder FORTRAN Code automatisch damit erzeugt werden.
File Chunking
Die Chunk Size der in einer CF NetCDF abgelegten Variablen kann die Geschwindigkeit, mit der diese entlang verschiedener Dimensionen gelesen werden kann, erheblich beeinflussen. Typisch für unterschiedliche Zugriffe ist z. B. der räumliche (synoptische) Zugriff gegenüber dem Zeitserien-Zugriff. Die Chunk Size kann sehr allgemein über die NetCDF API individuell optimiert werden. In vielen Situationen können befriedigende Ergebnisse allerdings auch schon auf sehr einfachem Wege mit Hilfe des Hilfsprogramms NCCOPY erzielt werden. Für weitergehende Informationen lese man:
NetCDF vs. GRIB
Neben NetCDF ist GRIB ein weit verbreitetes Dateiformat. Zur Problematik der Unterschiede von NetCDF und GRIB wurde im September 2014 ein Workshop beim ECMWF abgehalten. Weitere Informationen auf der Website des Workshops Closing the GRIB/NetCDF gap.
Terminologie
Globale Attribute
Gitter
- NetCDF Einzelpositionen: Mehrere Einzelpositionen, in Anlehnung an location_grid.dat;
- NetCDF Profile: Gitter aus mehreren Längs- und Querprofilen, z. B. inhaltlich äquivalent mit profil05.bin;
- NetCDF Dreiecksgitter: Gitter aus Dreiecken, z. B. inhaltlich äquivalent mit gitter05.dat und gitter05.bin;
- NetCDF Unstrukturiertes Gitter: Unstrukturiertes Gitter, z. B. inhaltlich äquivalent mit untrim_grid.dat;
- NetCDF Unstrukturiertes Gitter mit SubGrid: Unstrukturiertes Gitter mit zusätzlichen SubGrid-Daten, z. B. inhaltlich äquivalent mit utrsub_grid.dat.
Zeitkoordinate
- NetCDF Zeitkoordinate: Zeitangaben, Zeitintervalle und Kalender.
Vertikalkoordinate
- NetCDF Vertikalkoordinate: dimensionsbehaftete Vertikalkoordinate (Höhe, Tiefe).
Reduktion der Datensatzgröße
Traditionell, d. h. bis zum Erscheinen von NetCDF-4 (HDF), konnte die Größe der Datensätze mit
reduziert werden. Die Verwendung dieser Methoden wird heute (NetCDF-4 (HDF)) nicht mehr empfohlen. Über die NetCDF API kann jede Variable individuell (Online) beim Schreiben einer Datei komprimiert werden. Existierende NetCDF Dateien können außerdem mit Hilfe von NCCOPY nachträglich komprimiert werden.
Horizontales Koordinatensystem
Daten
Synoptische Daten
- NetCDF Synoptische Daten an Einzelpositionen,
- NetCDF Synoptische Daten auf Profilen,
- NetCDF Querschnittsintegrierte synoptische Daten auf Profilen,
- NetCDF Synoptische Daten im Dreiecksgitter,
- NetCDF Synoptische (morphologische) Daten im Dreiecksgitter,
- NetCDF Synoptische Daten im unstrukturierten Gitter, und
- NetCDF Synoptische Daten im unstrukturierten Gitter mit SubGrid.
- NetCDF DelWAQ Daten
Zeitserien
Analysedaten
zurück zu Standard-Software-Anwendungen (Add-ons)