Aktionen

NetCDF Kompression von Daten durch Aufsammeln

Aus BAWiki

Kurze Beschreibung

Kompression von Daten durch Aufsammeln. Darunter versteht man den Vorgang, dauerhaft fehlende Daten eines Datensatzes (einer Variablen) vor dem Schreiben der Daten aus dem Datensatz zu entfernen.

Beispiel

double lon(lon) ;

lon:long_name = "geografische Laenge" ;
lon:units = "degrees_east" ;
lon:axis = "X" ;
lon:standard_name = "longitude" ;

double lat(lat) ;

lat:long_name = "geografische Breite" ;
lat:units = "degrees_north" ;
lat:axis = "Y" ;
lat:standard_name = "latitude" ;

double depth(depth) ;

depth:long_name = "Tiefe der Datenpunkte" ;
depth:units = "m" ;
depth:axis = "Z" ;
depth:positive = "down" ;
depth:bounds = "depth_bnd" ;
depth:standard_name = "depth" ;

double depth_bnd(depth,Two) ; double time(time) ;

time:long_name = "time" ;
time:units = "seconds since 2005-07-01 00:00:00 01:00" ;
time:axis = "T" ;
time:calendar = "gregorian" ;
time:standard_name = "time" ;

int datapoint(datapoint) ;

datapoint:long_name = "Kompressionsliste fuer alle Datenpunkte" ;
datapoint:compress = "depth lat lon" ;

double salinity_3d(time,datapoint) ;

salinity_3d:long_name = "tiefengemittelter Salzgehalt" ;
salinity_3d:units = "0.001" ;
salinity_3d:valid_range = 0., 40. ;
salinity_3d:_FillValue = 1.e+30 ;
salinity_3d:coordinates = "time depth lat lon" ;
salinity_3d:grid_mapping = "Mesh2_crs" ;
salinity_3d:standard_name = "sea_water_salinity" ;

Hinweise:

  1. Unkomprimiert wäre salinity_3d(time,depth,lat,lon) zu verwenden.
  2. Die Koordinatenvariable "datapoint" enthält die (ein-dimensionalen) Speicherindizes der Positionen mit Daten. Indizes beginnen mit Null!
  3. An Stelle von depth*lat*lon Datenwerten müssen nur datapoint Werte je Zeitschritt geschrieben werden.
  4. Diese Form der Kompression scheint bislang nur mit echten Koordinatenvariablen, nicht aber mit Hilfskoordinatenvariablen zu funktionieren.

Vorgehensweise

CDL- und Fortran-Syntax

Es soll die Variable "salinity_3d" betrachtet werden.

  • Deklaration in CDL-Syntax:
    salinity_3d(time,depth,lat,lon);
    Bemerkung: Indizes beginnen mit Null!
  • Deklaration in Fortran-Syntax:
    salinity_3d(lon,lat,depth,time).
    Bemerkung: Indizes beginnen mit Null!

Da die benutzte Syntax für die Werte der Kompressionsliste ohne Bedeutung ist, wird nachfolgend die Fortran-Syntax verwendet.

Komprimieren von Daten

  1. Maskenfeld mit identischer Gestalt zu den zu komprimierenden Dimensionen,
    Mask_3d(lon,lat,depth).
  2. Initialisierung: Mask_3d(:,:,:) = .false. .
  3. Setze Mask_3d(i,j,k) auf .true., falls die Daten für Position (i,j,k) geschrieben werden sollen.
  4. Bilde das Feld Mask_3d(:,:,:) auf das Feld Mask(:) ab (Fortran RESHAPE):
    Mask(lon*lat*depth).
  5. Die Indizes i mit Mask(i) = .true. ergeben dann die Werte der Kompressionsliste "datapoint".
  6. Man subtrahiere den Wert 1 von der Kompressionsliste, da alle Indizes mit Null beginnen müssen.
  7. Packe die zu komprimierenden Daten in das zu schreibende Feld (Fortran PACK) unter Verwendung von Mask_3d( :, : ).

Dekomprimieren von Daten

  1. Maskenfelder Mask und Mask_3d:
    Mask(lon*lat*depth), und
    Mask_3d(lon,lat,depth).
  2. Initialisierung: Mask(:) = .false. .
  3. Man addiere den Wert 1 zur Kompressionsliste "datapoint" hinzu, da alle Indizes mit Null beginnen müssen.
  4. Für die Werte der Kompressionsliste setze man Mask(i) = .true. .
  5. Bilde das Feld Mask(:) auf das Feld Mask_3d(:,:,:) ab (Fortran RESHAPE).
  6. Entpacke die zu dekomprimierenden Daten (Fortran UNPACK) unter Verwendung von Mask_3d(:,:,:) und _FillValue.

Bekannte Beschränkungen

  • Werden in dem oben angegebenen Beispiel an Stelle von (echten) Koordinatenvariablen statt dessen Hilfs-Koordinatenvariablen benutzt, so entspricht dies nach derzeitiger Kenntnis nicht mehr den CF-Metadaten-Konvention.

Kompression von Variablen beim Schreiben mit NetCDF-4/HDF5

Hinweise:

  1. Ab Version NetCDF-4/HDF5 wird Kompression auf Variablenebene beim Schreiben (durch die Software) unterstützt.
  2. Bei der Definition der Variablen mit z. B. NF90_DEF_VAR (in Fortran90), können verschiedene Parameter gesetzt werden, mit deren Hilfe eine effektive Reduktion der Datenmenge erzielt werden kann. Man beachte hierbei insbesondere die Hinweise zu dem Parameter "deflate_level".
  3. Um diese Kompressionsmethode einsetzen zu können, muss beim Öffnen mit z. B NF90_CREATE (in Fortran90) das Create Mode Flag entsprechend gesetzt werden.
  4. Derartige Dateien können nicht durch ältere NetCDF-Implementierungen verarbeitet werden.
  5. Mit dem Werkzeug nccopy können allerdings auch Konversionen zwischen verschiedenen NetCDF-Formaten vorgenommen werden, so z. B. von neuen in alte NetCDF-Formate.


zurück zu NetCDF

Strukturübersicht

Abgerufen von „https://wiki.baw.de/de/index.php?title=NetCDF_Kompression_von_Daten_durch_Aufsammeln&oldid=35836“