Version vom 29. April 2011, 13:28 Uhr

Kurze Beschreibung

Kompression von Daten durch Aufsammeln. Darunter versteht man den Vorgang, dauerhaft fehlende Daten eines Datensatzes (einer Variablen) vor dem Schreiben der Daten aus dem Datensatz zu entfernen.

Beispiel

Unkomprimierte Daten

double lon(lon) ;

lon:long_name = "geografische Laenge" ;

lon:units = "degrees_east" ;

lon:axis = "X" ;

lon:standard_name = "longitude" ;

double lat(lat) ;

lat:long_name = "geografische Breite" ;

lat:units = "degrees_north" ;

lat:axis = "Y" ;

lat:standard_name = "latitude" ;

double depth(depth) ;

depth:long_name = "Tiefe der Datenpunkte" ;

depth:units = "m" ;

depth:axis = "Z" ;

depth:positive = "down" ;

depth:bounds = "depth_bnd" ;

depth:standard_name = "depth" ;

double depth_bnd(depth,Two) ; double time(time) ;

time:long_name = "time" ;

time:units = "seconds since 2005-07-01 00:00:00 01:00" ;

time:axis = "T" ;

time:calendar = "gregorian" ;

time:standard_name = "time" ;

int datapoint(datapoint) ;

datapoint:long_name = "Kompressionsliste fuer alle Datenpunkte" ;

datapoint:compress = "depth lat lon" ;

double salinity_3d(time,datapoint) ;

salinity_3d:long_name = "tiefengemittelter Salzgehalt" ;

salinity_3d:units = "0.001" ;

salinity_3d:valid_range = 0., 40. ;

salinity_3d:_FillValue = 1.e+30 ;

salinity_3d:coordinates = "time depth lat lon" ;

salinity_3d:grid_mapping = "Mesh2_crs" ;

salinity_3d:standard_name = "sea_water_salinity" ;

Hinweise:

Unkomprimiert wäre salinity_3d(time,depth,lat,lon) zu verwenden.
Die Koordinatenvariable "datapoint" enthält die (ein-dimensionalen) Speicherindizes der Positionen mit Daten.
An Stelle von depth*lat*lon Datenwerten müssen nur datapoint Werte je Zeitschritt geschrieben werden.
Diese Form der Kompression scheint bislang nur mit echten Koordinatenvariablen, nicht aber mit Hilfskoordinatenvariablen zu funktionieren.

Vorgehensweise

Es soll die Variable "Mesh2_poly_salinity_3d" betrachtet werden.

Deklaration in CDL-Syntax:
Mesh2_poly_salinity_3d(time,poly_depth_3d,nMesh2_poly);

Bemerkung: Indizes beginnen mit Null!
Deklaration in Fortran-Syntax:
Mesh2_poly_salinity_3d(nMesh2_poly,poly_depth_3d,time).

Bemerkung: Indizes beginnen mit Null!

Da die benutzte Syntax für die Werte der Listenvariable ohne Bedeutung ist, wird nachfolgend die Fortran-Syntax verwendet.

Komprimieren von Daten

Maskenfeld mit identischer Gestalt zu den zu komprimierenden Dimensionen,
Mask_3d(poly_depth_3d,nMesh2_poly).
Initialisierung: Mask_3d( :, : ) = .false. .
Setze Mask_3d( i, j ) auf .true., falls die Daten für Position ( i, j ) geschrieben werden sollen.
Bilde das Feld Mask_3d( :, : ) auf das Feld Mask( : ) ab (Fortran RESHAPE):
Mask(poly_depth_3d*nMesh_poly).
Die Indizes i mit Mask( i ) = .true. ergeben dann die Werte der Listenvariablen.
Man subtrahiere den Wert 1 von der Listenvariablen, da alle Indizes mit Null beginnen müssen.
Packe die zu komprimierenden Daten in das zu schreibende Feld (Fortran PACK) unter Verwendung von Mask_3d( :, : ).

Dekomprimieren von Daten

Maskenfelder Mask und Mask_3d:
Mask_(poly_depth_3d*nMesh2_poly), und

Mask_3d(poly_depth_3d,nMesh2_poly).
Initialisierung: Mask( : ) = .false. .
Man addiere den Wert 1 zur Listenvariablen hinzu, da alle Indizes mit Null beginnen müssen.
Für die Werte der Listenvariablen setze man Mask( i ) = .true. .
Bilde das Feld Mask( : ) auf das Feld Mask_3d( :, : ) ab (Fortran RESHAPE).
Entpacke die zu dekomprimierenden Daten (Fortran UNPACK) unter Verwendung von Mask_3d( :, : ) und _FillValue.

zurück zu NetCDF

Strukturübersicht

@@ Zeile 47: / Zeile 47: @@
 # An Stelle von depth*lat*lon Datenwerten müssen nur datapoint Werte je Zeitschritt geschrieben werden.
 # Diese Form der Kompression scheint bislang nur mit ''echten Koordinatenvariablen'', nicht aber mit ''Hilfskoordinatenvariablen'' zu funktionieren.
-==Komprimierte Daten==
-:: double Mesh2_poly_salinity_3d(time,<font color=blue>nMesh2_cell</font>) ;
-::: Mesh2_poly_salinity_3d:standard_name = "'''sea_water_salinity'''" ;
-::: Mesh2_poly_salinity_3d:long_name = "salinity for 2D mesh polygons, vertically structured" ;
-::: Mesh2_poly_salinity_3d:units = "0.001" ;
-::: Mesh2_poly_salinity_3d:coordinates = "Mesh2_poly_lon Mesh2_poly_lat" ;
-::: Mesh2_poly_salinity_3d:_FillValue = ''fillvalue'' ;
-::: Mesh2_poly_salinity_3d:valid_range = ''valid minimum'', ''valid maximum'' ;
-::: Mesh2_poly_salinity_3d:cell_methods = "nMesh2_cell: mean" ;
-::: Mesh2_poly_salinity_3d:cell_measures = "volume: Mesh2_poly_water_volume_3d" ;
-::: Mesh2_poly_salinity_3d:grid_mapping = "crs" ;
-Für jeden Zeitschritt werden nur noch ''nMesh2_cell'' Werte geschrieben. Dies entspricht der maximalen Anzahl aktiver Datenpunkte. Hierdurch wird der Speicherplatzbedarf um typischer Weise 60 bis 80 % reduziert. Der Zusammenhang von ''nMesh2_cell'' mit ''poly_depth_3d'' und ''nMesh2_poly'' wird durch folgende Koordinatenvariable ''nMesh2_cell'' beschrieben:
-:: integer <font color=blue>nMesh2_cell</font>(<font color=blue>nMesh2_cell</font>) ;
-::: nMesh2_cell:compress = "poly_depth_3d nMesh2_poly" ;
-Die Koordinatenvariable ''nMesh2_cell'' enthält die Referenzliste der zu speichernden Daten. Die Länge der Liste entspricht dabei der Anzahl der zu speichernden Werte. Die Präsenz des Attributs ''compress'' zeigt an, dass es sich bei dieser Variablen nicht um eine normale Koordinatenvariable sondern um eine Listenvariable handelt. Mit Hilfe der Angabe der originalen Dimensionen sowie der Listenwerte kann der exakte Inhalt des unkomprimierten Feldes rekonstruiert werden. Dauerhaft fehlende Werte werden dann mit ''_FillValue'' aufgefüllt.
 =Vorgehensweise=

NetCDF Kompression von Daten durch Aufsammeln: Unterschied zwischen den Versionen

Aus BAWiki