NetCDF Kompression von Daten durch Aufsammeln - Versionsgeschichte

127.0.0.1: Die LinkTitles-Erweiterung hat automatisch Links zu anderen Seiten hinzugefügt (https://github.com/bovender/LinkTitles).

2022-10-21T09:30:52Z

Die LinkTitles-Erweiterung hat automatisch Links zu anderen Seiten hinzugefügt (<a target="_blank" rel="nofollow noreferrer noopener" class="external free" href="https://github.com/bovender/LinkTitles">https://github.com/bovender/LinkTitles</a>).

← Nächstältere Version		Version vom 21. Oktober 2022, 09:30 Uhr
Zeile 89:		Zeile 89:
	# Bei der [[Definition]] der Variablen mit z. B. [http://www.unidata.ucar.edu/software/netcdf/docs/netcdf-f90/NF90_005fDEF_005fVAR.html#NF90_005fDEF_005fVAR NF90_DEF_VAR] (in Fortran90), können verschiedene Parameter gesetzt werden, mit deren Hilfe eine effektive Reduktion der Datenmenge erzielt werden kann. Man beachte hierbei insbesondere die Hinweise zu dem Parameter "deflate_level".		# Bei der [[Definition]] der Variablen mit z. B. [http://www.unidata.ucar.edu/software/netcdf/docs/netcdf-f90/NF90_005fDEF_005fVAR.html#NF90_005fDEF_005fVAR NF90_DEF_VAR] (in Fortran90), können verschiedene Parameter gesetzt werden, mit deren Hilfe eine effektive Reduktion der Datenmenge erzielt werden kann. Man beachte hierbei insbesondere die Hinweise zu dem Parameter "deflate_level".
	# Um diese Kompressionsmethode einsetzen zu können, muss beim Öffnen mit z. B [http://www.unidata.ucar.edu/software/netcdf/docs/netcdf-f90/NF90_005fCREATE.html#NF90_005fCREATE NF90_CREATE] (in Fortran90) das ''Create Mode Flag'' entsprechend gesetzt werden.		# Um diese Kompressionsmethode einsetzen zu können, muss beim Öffnen mit z. B [http://www.unidata.ucar.edu/software/netcdf/docs/netcdf-f90/NF90_005fCREATE.html#NF90_005fCREATE NF90_CREATE] (in Fortran90) das ''Create Mode Flag'' entsprechend gesetzt werden.
	# Derartige Dateien können nicht durch ältere NetCDF-Implementierungen verarbeitet werden.		# Derartige Dateien können nicht durch ältere [[NetCDF]]-Implementierungen verarbeitet werden.
	# Mit dem Werkzeug [http://www.unidata.ucar.edu/software/netcdf/docs/netcdf/nccopy.html#nccopy nccopy] können allerdings auch Konversionen zwischen verschiedenen NetCDF-Formaten vorgenommen werden, so z. B. von ''neuen'' in ''alte'' NetCDF-Formate.		# Mit dem Werkzeug [http://www.unidata.ucar.edu/software/netcdf/docs/netcdf/nccopy.html#nccopy nccopy] können allerdings auch Konversionen zwischen verschiedenen [[NetCDF]]-Formaten vorgenommen werden, so z. B. von ''neuen'' in ''alte'' [[NetCDF]]-Formate.

127.0.0.1: Links to existing pages added by LinkTitles bot.

2017-05-30T13:12:51Z

Links to existing pages added by LinkTitles bot.

← Nächstältere Version		Version vom 30. Mai 2017, 13:12 Uhr
Zeile 86:		Zeile 86:

	Hinweise:		Hinweise:
	# Ab Version NetCDF-4/HDF5 wird Kompression auf Variablenebene beim Schreiben (durch die Software) unterstützt.		# Ab Version [[NetCDF]]-4/HDF5 wird Kompression auf Variablenebene beim Schreiben (durch die Software) unterstützt.
	# Bei der Definition der Variablen mit z. B. [http://www.unidata.ucar.edu/software/netcdf/docs/netcdf-f90/NF90_005fDEF_005fVAR.html#NF90_005fDEF_005fVAR NF90_DEF_VAR] (in Fortran90), können verschiedene Parameter gesetzt werden, mit deren Hilfe eine effektive Reduktion der Datenmenge erzielt werden kann. Man beachte hierbei insbesondere die Hinweise zu dem Parameter "deflate_level".		# Bei der [[Definition]] der Variablen mit z. B. [http://www.unidata.ucar.edu/software/netcdf/docs/netcdf-f90/NF90_005fDEF_005fVAR.html#NF90_005fDEF_005fVAR NF90_DEF_VAR] (in Fortran90), können verschiedene Parameter gesetzt werden, mit deren Hilfe eine effektive Reduktion der Datenmenge erzielt werden kann. Man beachte hierbei insbesondere die Hinweise zu dem Parameter "deflate_level".
	# Um diese Kompressionsmethode einsetzen zu können, muss beim Öffnen mit z. B [http://www.unidata.ucar.edu/software/netcdf/docs/netcdf-f90/NF90_005fCREATE.html#NF90_005fCREATE NF90_CREATE] (in Fortran90) das ''Create Mode Flag'' entsprechend gesetzt werden.		# Um diese Kompressionsmethode einsetzen zu können, muss beim Öffnen mit z. B [http://www.unidata.ucar.edu/software/netcdf/docs/netcdf-f90/NF90_005fCREATE.html#NF90_005fCREATE NF90_CREATE] (in Fortran90) das ''Create Mode Flag'' entsprechend gesetzt werden.
	# Derartige Dateien können nicht durch ältere NetCDF-Implementierungen verarbeitet werden.		# Derartige Dateien können nicht durch ältere NetCDF-Implementierungen verarbeitet werden.

imported>Lang Guenther: /* Kompression von Variablen beim Schreiben mit NetCDF-4/HDF5 */ Abschnitt Bekannte Beschränkungen ergänzt.

2011-04-29T14:32:08Z

Kompression von Variablen beim Schreiben mit NetCDF-4/HDF5: Abschnitt Bekannte Beschränkungen ergänzt.

← Nächstältere Version		Version vom 29. April 2011, 14:32 Uhr
Zeile 78:		Zeile 78:
	# Bilde das Feld Mask(:) auf das Feld Mask_3d(:,:,:) ab (Fortran RESHAPE).		# Bilde das Feld Mask(:) auf das Feld Mask_3d(:,:,:) ab (Fortran RESHAPE).
	# Entpacke die zu dekomprimierenden Daten (Fortran UNPACK) unter Verwendung von Mask_3d(:,:,:) und ''_FillValue''.		# Entpacke die zu dekomprimierenden Daten (Fortran UNPACK) unter Verwendung von Mask_3d(:,:,:) und ''_FillValue''.

			=Bekannte Beschränkungen=

			* Werden in dem oben angegebenen Beispiel an Stelle von (echten) Koordinatenvariablen statt dessen Hilfs-Koordinatenvariablen benutzt, so entspricht dies nach derzeitiger Kenntnis nicht mehr den [http://cf-pcmdi.llnl.gov/ CF-Metadaten-Konvention].

	=Kompression von Variablen beim Schreiben mit NetCDF-4/HDF5=		=Kompression von Variablen beim Schreiben mit NetCDF-4/HDF5=

imported>Lang Guenther: Text zur Kompression einzelner Variablen mit NetCDF-4/HDF5 ergänzt

2011-04-29T14:26:19Z

Text zur Kompression einzelner Variablen mit NetCDF-4/HDF5 ergänzt

@@ Zeile 78: / Zeile 78: @@
 # Bilde das Feld Mask(:) auf das Feld Mask_3d(:,:,:) ab (Fortran RESHAPE).
 # Entpacke die zu dekomprimierenden Daten (Fortran UNPACK) unter Verwendung von Mask_3d(:,:,:) und ''_FillValue''.
 ----

imported>Lang Guenther: /* Vorgehensweise */ Text überarbeitet, Listenvariable durch Kompressionsliste ersetzt

2011-04-29T13:37:53Z

Vorgehensweise: Text überarbeitet, Listenvariable durch Kompressionsliste ersetzt

← Nächstältere Version		Version vom 29. April 2011, 13:37 Uhr
Zeile 56:		Zeile 56:
	*: salinity_3d(lon,lat,depth,time).		*: salinity_3d(lon,lat,depth,time).
	*: ''Bemerkung: Indizes beginnen mit Null!''		*: ''Bemerkung: Indizes beginnen mit Null!''
	Da die benutzte Syntax für die Werte der ~~Listenvariable~~ ohne Bedeutung ist, wird nachfolgend die Fortran-Syntax verwendet.		Da die benutzte Syntax für die Werte der Kompressionsliste ohne Bedeutung ist, wird nachfolgend die Fortran-Syntax verwendet.

	==Komprimieren von Daten==		==Komprimieren von Daten==
Zeile 65:		Zeile 65:
	# Bilde das Feld Mask_3d(:,:,:) auf das Feld Mask(:) ab (Fortran RESHAPE):		# Bilde das Feld Mask_3d(:,:,:) auf das Feld Mask(:) ab (Fortran RESHAPE):
	#: Mask(lonlatdepth).		#: Mask(lonlatdepth).
	# Die Indizes i mit Mask(i) = .true. ergeben dann die Werte der ~~Listenvariablen~~ "datapoint".		# Die Indizes i mit Mask(i) = .true. ergeben dann die Werte der Kompressionsliste "datapoint".
	# Man subtrahiere den Wert 1 von der ~~Listenvariablen~~, da alle Indizes mit Null beginnen müssen.		# Man subtrahiere den Wert 1 von der Kompressionsliste, da alle Indizes mit Null beginnen müssen.
	# Packe die zu komprimierenden Daten in das zu schreibende Feld (Fortran PACK) unter Verwendung von Mask_3d( :, : ).		# Packe die zu komprimierenden Daten in das zu schreibende Feld (Fortran PACK) unter Verwendung von Mask_3d( :, : ).

Zeile 74:		Zeile 74:
	#: Mask_3d(lon,lat,depth).		#: Mask_3d(lon,lat,depth).
	# Initialisierung: Mask(:) = .false. .		# Initialisierung: Mask(:) = .false. .
	# Man addiere den Wert 1 zur ~~Listenvariablen~~ "datapoint" hinzu, da alle Indizes mit Null beginnen müssen.		# Man addiere den Wert 1 zur Kompressionsliste "datapoint" hinzu, da alle Indizes mit Null beginnen müssen.
	# Für die Werte der ~~Listenvariablen~~ setze man Mask(i) = .true. .		# Für die Werte der Kompressionsliste setze man Mask(i) = .true. .
	# Bilde das Feld Mask(:) auf das Feld Mask_3d(:,:,:) ab (Fortran RESHAPE).		# Bilde das Feld Mask(:) auf das Feld Mask_3d(:,:,:) ab (Fortran RESHAPE).
	# Entpacke die zu dekomprimierenden Daten (Fortran UNPACK) unter Verwendung von Mask_3d(:,:,:) und ''_FillValue''.		# Entpacke die zu dekomprimierenden Daten (Fortran UNPACK) unter Verwendung von Mask_3d(:,:,:) und ''_FillValue''.

imported>Lang Guenther: /* Vorgehensweise */ Text für neues Beispiel überarbeitet

2011-04-29T13:35:57Z

Vorgehensweise: Text für neues Beispiel überarbeitet

← Nächstältere Version		Version vom 29. April 2011, 13:35 Uhr
Zeile 48:		Zeile 48:

	=Vorgehensweise=		=Vorgehensweise=
			==CDL- und Fortran-Syntax==
	Es soll die Variable "~~Mesh2_poly_salinity_3d~~" betrachtet werden.		Es soll die Variable "salinity_3d" betrachtet werden.
	* Deklaration in CDL-Syntax:		* Deklaration in CDL-Syntax:
	*: ~~Mesh2_poly_salinity_3d~~(time,~~poly_depth_3d~~,~~nMesh2_poly~~);		*: salinity_3d(time,depth,lat,lon);
	*: ''Bemerkung: Indizes beginnen mit Null!''		*: ''Bemerkung: Indizes beginnen mit Null!''
	* Deklaration in Fortran-Syntax:		* Deklaration in Fortran-Syntax:
	*: ~~Mesh2_poly_salinity_3d~~(~~nMesh2_poly~~,~~poly_depth_3d~~,time).		*: salinity_3d(lon,lat,depth,time).
	*: ''Bemerkung: Indizes beginnen mit Null!''		*: ''Bemerkung: Indizes beginnen mit Null!''
	Da die benutzte Syntax für die Werte der Listenvariable ohne Bedeutung ist, wird nachfolgend die Fortran-Syntax verwendet.		Da die benutzte Syntax für die Werte der Listenvariable ohne Bedeutung ist, wird nachfolgend die Fortran-Syntax verwendet.
Zeile 60:		Zeile 60:
	==Komprimieren von Daten==		==Komprimieren von Daten==
	# Maskenfeld mit identischer Gestalt zu den zu komprimierenden Dimensionen,		# Maskenfeld mit identischer Gestalt zu den zu komprimierenden Dimensionen,
	#: Mask_3d(~~poly_depth_3d~~,~~nMesh2_poly~~).		#: Mask_3d(lon,lat,depth).
	# Initialisierung: Mask_3d( :, : ) = .false. .		# Initialisierung: Mask_3d(:,:,:) = .false. .
	# Setze Mask_3d( i, j ) auf .true., falls die Daten für Position ( i, j ) geschrieben werden sollen.		# Setze Mask_3d(i,j,k) auf .true., falls die Daten für Position (i,j,k) geschrieben werden sollen.
	# Bilde das Feld Mask_3d( :, : ) auf das Feld Mask( : ) ab (Fortran RESHAPE):		# Bilde das Feld Mask_3d(:,:,:) auf das Feld Mask(:) ab (Fortran RESHAPE):
	#: Mask(~~poly_depth_3d~~*~~nMesh_poly~~).		#: Mask(lonlatdepth).
	# Die Indizes i mit Mask( i ) = .true. ergeben dann die Werte der Listenvariablen.		# Die Indizes i mit Mask(i) = .true. ergeben dann die Werte der Listenvariablen "datapoint".
	# Man subtrahiere den Wert 1 von der Listenvariablen, da alle Indizes mit Null beginnen müssen.		# Man subtrahiere den Wert 1 von der Listenvariablen, da alle Indizes mit Null beginnen müssen.
	# Packe die zu komprimierenden Daten in das zu schreibende Feld (Fortran PACK) unter Verwendung von Mask_3d( :, : ).		# Packe die zu komprimierenden Daten in das zu schreibende Feld (Fortran PACK) unter Verwendung von Mask_3d( :, : ).
Zeile 71:		Zeile 71:
	==Dekomprimieren von Daten==		==Dekomprimieren von Daten==
	# Maskenfelder Mask und Mask_3d:		# Maskenfelder Mask und Mask_3d:
	#: ~~Mask_~~(~~poly_depth_3d~~*~~nMesh2_poly~~), und		#: Mask(lonlatdepth), und
	#: Mask_3d(~~poly_depth_3d~~,~~nMesh2_poly~~).		#: Mask_3d(lon,lat,depth).
	# Initialisierung: Mask( : ) = .false. .		# Initialisierung: Mask(:) = .false. .
	# Man addiere den Wert 1 zur Listenvariablen hinzu, da alle Indizes mit Null beginnen müssen.		# Man addiere den Wert 1 zur Listenvariablen "datapoint" hinzu, da alle Indizes mit Null beginnen müssen.
	# Für die Werte der Listenvariablen setze man Mask( i ) = .true. .		# Für die Werte der Listenvariablen setze man Mask(i) = .true. .
	# Bilde das Feld Mask( : ) auf das Feld Mask_3d( :, : ) ab (Fortran RESHAPE).		# Bilde das Feld Mask(:) auf das Feld Mask_3d(:,:,:) ab (Fortran RESHAPE).
	# Entpacke die zu dekomprimierenden Daten (Fortran UNPACK) unter Verwendung von Mask_3d( :, : ) und ''_FillValue''.		# Entpacke die zu dekomprimierenden Daten (Fortran UNPACK) unter Verwendung von Mask_3d(:,:,:) und ''_FillValue''.

	----		----

imported>Lang Guenther: /* Beispiel */ Text ergänzt

2011-04-29T13:29:24Z

Beispiel: Text ergänzt

← Nächstältere Version		Version vom 29. April 2011, 13:29 Uhr
Zeile 43:		Zeile 43:
	Hinweise:		Hinweise:
	# Unkomprimiert wäre salinity_3d(time,depth,lat,lon) zu verwenden.		# Unkomprimiert wäre salinity_3d(time,depth,lat,lon) zu verwenden.
	# Die Koordinatenvariable "datapoint" enthält die (ein-dimensionalen) Speicherindizes der Positionen mit Daten.		# Die Koordinatenvariable "datapoint" enthält die (ein-dimensionalen) Speicherindizes der Positionen mit Daten. Indizes beginnen mit Null!
	# An Stelle von depthlatlon Datenwerten müssen nur datapoint Werte je Zeitschritt geschrieben werden.		# An Stelle von depthlatlon Datenwerten müssen nur datapoint Werte je Zeitschritt geschrieben werden.
	# Diese Form der Kompression scheint bislang nur mit ''echten Koordinatenvariablen'', nicht aber mit ''Hilfskoordinatenvariablen'' zu funktionieren.		# Diese Form der Kompression scheint bislang nur mit ''echten Koordinatenvariablen'', nicht aber mit ''Hilfskoordinatenvariablen'' zu funktionieren.

imported>Lang Guenther: /* Beispiel */

2011-04-29T13:28:35Z

Beispiel

← Nächstältere Version		Version vom 29. April 2011, 13:28 Uhr
Zeile 5:		Zeile 5:

	=Beispiel=		=Beispiel=
	~~==Unkomprimierte Daten==~~
	double lon(lon) ;		double lon(lon) ;
	: lon:long_name = "geografische Laenge" ;		: lon:long_name = "geografische Laenge" ;

imported>Lang Guenther: /* Komprimierte Daten */

2011-04-29T13:28:19Z

Komprimierte Daten

@@ Zeile 47: / Zeile 47: @@
 # An Stelle von depth*lat*lon Datenwerten müssen nur datapoint Werte je Zeitschritt geschrieben werden.
 # Diese Form der Kompression scheint bislang nur mit ''echten Koordinatenvariablen'', nicht aber mit ''Hilfskoordinatenvariablen'' zu funktionieren.
 =Vorgehensweise=

imported>Lang Guenther: /* Unkomprimierte Daten */ Text gegen besseres, verifiziertes Beispiel ausgetauscht

2011-04-29T13:27:56Z

Unkomprimierte Daten: Text gegen besseres, verifiziertes Beispiel ausgetauscht

← Nächstältere Version		Version vom 29. April 2011, 13:27 Uhr
Zeile 6:		Zeile 6:
	=Beispiel=		=Beispiel=
	==Unkomprimierte Daten==		==Unkomprimierte Daten==
	:: double ~~Mesh2_poly_salinity_3d~~(~~time,poly_depth_3d,nMesh2_poly~~) ;		double lon(lon) ;
	::: ~~Mesh2_poly_salinity_3d~~:~~standard_name~~ = "~~'''sea_water_salinity'''~~" ;		: lon:long_name = "geografische Laenge" ;
	::: ~~Mesh2_poly_salinity_3d~~:long_name = "~~salinity for 2D mesh polygons, vertically structured~~" ;		: lon:units = "degrees_east" ;
	::: ~~Mesh2_poly_salinity_3d~~:~~units~~ = "~~0.001~~" ;		: lon:axis = "X" ;
	::: ~~Mesh2_poly_salinity_3d~~:~~coordinates~~ = "~~Mesh2_poly_lon Mesh2_poly_lat~~" ;		: lon:standard_name = "longitude" ;
	::: ~~Mesh2_poly_salinity_3d~~:~~_FillValue~~ = ~~''fillvalue''~~ ;		double lat(lat) ;
	::: ~~Mesh2_poly_salinity_3d~~:~~valid_range~~ = ~~''valid minimum'', ''valid maximum''~~ ;		: lat:long_name = "geografische Breite" ;
	::: ~~Mesh2_poly_salinity_3d~~:~~cell_methods~~ = "~~poly_depth_3d~~: ~~mean nMesh2_poly~~: ~~mean~~" ;		: lat:units = "degrees_north" ;
	::: ~~Mesh2_poly_salinity_3d~~:~~cell_measures~~ = "~~volume~~: ~~Mesh2_poly_water_volume_3d~~" ;		: lat:axis = "Y" ;
	::: ~~Mesh2_poly_salinity_3d~~:grid_mapping = "~~crs~~" ;		: lat:standard_name = "latitude" ;
			double depth(depth) ;
			: depth:long_name = "Tiefe der Datenpunkte" ;
			: depth:units = "m" ;
			: depth:axis = "Z" ;
			: depth:positive = "down" ;
			: depth:bounds = "depth_bnd" ;
			: depth:standard_name = "depth" ;
			double depth_bnd(depth,Two) ;
			double time(time) ;
			: time:long_name = "time" ;
			: time:units = "seconds since 2005-07-01 00:00:00 01:00" ;
			: time:axis = "T" ;
			: time:calendar = "gregorian" ;
			: time:standard_name = "time" ;
			int datapoint(datapoint) ;
			: datapoint:long_name = "Kompressionsliste fuer alle Datenpunkte" ;
			: datapoint:compress = "depth lat lon" ;
			double salinity_3d(time,datapoint) ;
			: salinity_3d:long_name = "tiefengemittelter Salzgehalt" ;
			: salinity_3d:units = "0.001" ;
			: salinity_3d:valid_range = 0., 40. ;
			: salinity_3d:_FillValue = 1.e+30 ;
			: salinity_3d:coordinates = "time depth lat lon" ;
			: salinity_3d:grid_mapping = "Mesh2_crs" ;
			: salinity_3d:standard_name = "sea_water_salinity" ;

	~~Für jeden~~ Zeitschritt werden ''~~poly_depth_3d~~''*''~~nMesh2_poly~~'' Werte geschrieben. Diese Zahl kann bei Verwendung von z-Schichten sehr viel größer als die Anzahl aktiver Datenpunkte sein, da die Anzahl der über einem Polygon befindlichen (aktiven) Datenpunkte von Polygon zu ~~Polygon bei variabler Topografie sehr stark schwanken kann~~.		Hinweise:
			# Unkomprimiert wäre salinity_3d(time,depth,lat,lon) zu verwenden.
			# Die Koordinatenvariable "datapoint" enthält die (ein-dimensionalen) Speicherindizes der Positionen mit Daten.
			# An Stelle von depthlatlon Datenwerten müssen nur datapoint Werte je Zeitschritt geschrieben werden.
			# Diese Form der Kompression scheint bislang nur mit ''echten Koordinatenvariablen'', nicht aber mit ''Hilfskoordinatenvariablen'' zu funktionieren.

	==Komprimierte Daten==		==Komprimierte Daten==