Version vom 13. April 2016, 14:40 Uhr

Allgemeines

Zielsetzung dieser BAWiki-Seiten

Dieser Bereich des BAWiki enthält alle NetCDF-Konventionen, die zur Speicherung typischer BAW-spezifischer Daten in NetCDF-Dateien (siehe network common data form) erforderlich sind. Insbesondere werden auch alle lokalen Konventionen aufgeführt, die über die international vereinbarte CF-Metadaten-Konvention hinausgehen.

In allen Fällen, in denen die CF-Konventionen unzueichend sind, werden i. W. die Unstructured Grid Metadata Conventions for Scientific Datasets (UGRID Conventions) verwendet. Die aktuelle Version der UGRID Conventions wird auf auf GITHUB beschrieben.

Weitere Aktivitäten im Umfeld von OpenDAP zur Selektion von Daten auf unstrukturierten Netzen findet man z. B. auf OPULS.

Nützliche Mustervorlagen zur Verwendung insbesondere globaler Attribute sind bei den NODC NetCDF Templates zu finden. Das Datenzentrum NODC firmiert seit einiger Zeit unter National Centers for Environmental Information (NCEI).

Die seit 2010 entwickelte BAW-Ausprägung einer NetCDF-Datei wird als Datei des Typs CF-NETCDF.NC bezeichnet.

Seit Version NetCDF-4.0 wird HDF (Hierarchical Data File, siehe HDF5 Group) als darunter liegendes Dateiformat verwendet. Damit werden Konzepte wie Online-Kompression der gelesenen/geschriebenen Daten sowie das File Chunking auch bei Verwendung der NetCDF API unterstützt.

Wichtige NetCDF Hilfsmethoden

Die wichtigsten Hilfsmethoden der NetCDF Utilities sind:

NCDUMP Inhalt einer NetCDF Datei als Text (selektiv) ausgeben;
NCCOPY Inhalt einer NetCDF Datei selektiv kopieren, Kompressionsniveau abwandeln, innere Struktur der Datei (File Chunking) abwandeln; und
NCGEN erzeugt eine NetCDF Datei aus einer CDL Textdatei; optional kann auch C oder FORTRAN Code automatisch damit erzeugt werden.

Einen guten Gesamtüberblick gibt die NetCDF-Dokumentation.

File Chunking

Die Chunk Size der in einer CF NetCDF abgelegten Variablen kann die Geschwindigkeit, mit der diese entlang verschiedener Dimensionen gelesen werden kann, erheblich beeinflussen. Typisch für unterschiedliche Zugriffe ist z. B. der räumliche (synoptische) Zugriff gegenüber dem Zeitserien-Zugriff. Die Chunk Size kann sehr allgemein über die NetCDF API individuell optimiert werden. In vielen Situationen können befriedigende Ergebnisse allerdings auch schon auf sehr einfachem Wege mit Hilfe des Hilfsprogramms NCCOPY erzielt werden. Für weitergehende Informationen lese man:

NetCDF vs. GRIB

Neben NetCDF ist GRIB ein weit verbreitetes Dateiformat. Zur Problematik der Unterschiede von NetCDF und GRIB wurde im September 2014 ein Workshop beim ECMWF abgehalten. Weitere Informationen auf der Website des Workshops Closing the GRIB/NetCDF gap.

Literatur

Biookaghazadeh, Saman, et al. (2015) Enabling scientific data storage and processing on big-data systems. Big Data (Big Data), 2015 IEEE International Conference on. IEEE, 2015 Verwenden von in netCDF-Dateien gespeicherten Daten in dem Big-Data Analysesystem Hadoop.

Signell, R. P. und Snowden, D. P. (2014) Advances in a Distributed Approach for Ocean Model Data Interoperability. J. Mar. Sci. Eng. 2014, 2, 194-208. Verweist u. a. auf die Vorteile der Verwendung des UGRID CF Standards für die Speicherung von Daten in netCDF-Dateien.

Wie man Unidata danken kann

"Software and technologies developed and distributed by the Unidata Program Center are (with very few exceptions) Free and Open Source, and you can use them in your own work with no restrictions. In order to continue developing software and providing services to the Unidata community, it is important that the Unidata Program Center be able to demonstrate the value of the technologies we develop and services we provide to our sponsors — most notably the National Science Foundation. Including an acknowledgement in your publication or web site helps us do this."

"It helps even more if we are aware of what you're doing. If you're using Unidata technologies and citing them in a paper, poster, thesis, or other venue, we'd be grateful if you would let us know about it by sending a short message to support@unidata.ucar.edu. Thanks!"

Informell

This project took advantage of netCDF software developed by UCAR/Unidata (www.unidata.ucar.edu/software/netcdf/).

Zitat

Unidata, (year): Package name version number [software]. Boulder, CO: UCAR/Unidata Program Center. Available from URL-to-software-page.

Wo wird NetCDF verwendet?

Für eine Übersicht siehe Where is NetCDF used?.

Globale Attribute

NetCDF Globale Attribute

Gitter

NetCDF Einzelpositionen: Mehrere Einzelpositionen, in Anlehnung an location_grid.dat;
NetCDF Profile: Gitter aus mehreren Längs- und Querprofilen, z. B. inhaltlich äquivalent mit profil05.bin;
NetCDF Dreiecksgitter: Gitter aus Dreiecken, z. B. inhaltlich äquivalent mit gitter05.dat und gitter05.bin;
NetCDF Unstrukturiertes Gitter: Unstrukturiertes Gitter, z. B. inhaltlich äquivalent mit untrim_grid.dat;
NetCDF Unstrukturiertes Gitter mit SubGrid: Unstrukturiertes Gitter mit zusätzlichen SubGrid-Daten, z. B. inhaltlich äquivalent mit utrsub_grid.dat.

Zeitkoordinate

NetCDF Zeitkoordinate: Zeitangaben, Zeitintervalle und Kalender.

Vertikalkoordinate

NetCDF Vertikalkoordinate: dimensionsbehaftete Vertikalkoordinate (Höhe, Tiefe).

Reduktion der Datensatzgröße

Traditionell, d. h. bis zum Erscheinen von NetCDF-4 (HDF), konnte die Größe der Datensätze mit

reduziert werden. Die Verwendung dieser Methoden wird heute (NetCDF-4 (HDF)) nicht mehr empfohlen. Über die NetCDF API kann jede Variable individuell (Online) beim Schreiben einer Datei komprimiert werden. Existierende NetCDF Dateien können außerdem mit Hilfe von NCCOPY nachträglich komprimiert werden.

@@ Zeile 55: / Zeile 55: @@
 Für eine Übersicht siehe [http://www.unidata.ucar.edu/software/netcdf/usage.html ''Where is NetCDF used?''].
-=Terminologie=
 =Globale Attribute=

NetCDF: Unterschied zwischen den Versionen

Aus BAWiki