NCCHUNKIE: Unterschied zwischen den Versionen
Aus BAWiki
imported>Lang Guenther (Erstversion) |
imported>Lang Guenther (NC2TABLE als Nachlaufprogramm eingefügt) |
||
| Zeile 3: | Zeile 3: | ||
|name=NCCHUNKIE | |name=NCCHUNKIE | ||
|version=April 2018 | |version=April 2018 | ||
|version_beschr= | |version_beschr=Mai 2018 | ||
|stichworte=Datenkonversion<br /> | |stichworte=Datenkonversion<br /> | ||
Postprocessor<br/> | Postprocessor<br/> | ||
| Zeile 35: | Zeile 35: | ||
|preprozessor=[[DATACONVERT]], [[GRIDCONVERT]], [[NCANALYSE]], [[NCAGGREGATE]], [[NCDELTA]], [[NetCDF Operators]], [[UNTRIM2007]], [[UNTRIM2]] | |preprozessor=[[DATACONVERT]], [[GRIDCONVERT]], [[NCANALYSE]], [[NCAGGREGATE]], [[NCDELTA]], [[NetCDF Operators]], [[UNTRIM2007]], [[UNTRIM2]] | ||
|postprozessor=[[NCANALYSE]], [[NCAGGREGATE]], [[NCDELTA]], [[NetCDF Operators]] | |postprozessor=[[NCANALYSE]], [[NCAGGREGATE]], [[NCDELTA]], [[NC2TABLE]], [[NetCDF Operators]] | ||
|programmiersprache=Fortran95 | |programmiersprache=Fortran95 | ||
|zus_software= --- | |zus_software= --- | ||
Version vom 3. Mai 2018, 07:29 Uhr
Basisinformationen
Programm-Name
NCCHUNKIE
Version
April 2018
Beschreibung
Mai 2018
Stichworte
Datenkonversion
Postprocessor
Automatische Anpassung der READ-Daten-Portionen an Chunk-Größe
Automatische Berechnung der Chunk-Größen der Ergebnisvariablen für orthogonalen Datenzugriff
Danksagung: This project took advantage of netCDF software developed by UCAR/Unidata (www.unidata.ucar.edu/software/netcdf/).
Kurzbeschreibung
Das Programm NCCHUNKIE dient dem Chunken von cf-netcdf.nc Dateien:
- Die Größe der Chunks wird automatisch berechnet, wobei alle Dimensionen gechunkt werden (Kompromiss für orthogonalen Datenzugriff);
- Die erzeugten Chunk-Größen liegen dabei zwischen der Disc Block Size und der Chunk Buffer Size;
- Die Daten der Ergebnisdatei werden Online komprimiert (niedrige Kompressionsstufe, Level 1);
- Es wird eine Datei im netCDF-4 Classic Model Format erzeugt (also eine netCDF-kompatible HDF-Datei);
- Die Parameter Cache Size und Cache Nelems der netCDF-4 API werden automatisch ermittelt.
Falls beim Lesen von Daten ein HDF error auftritt wird versucht, die Werte des gewünschten Datenrecords aus den Werten zeitlich benachbarter Records zu rekonstruieren (Interpolation). Diese Reparatur funktioniert ausschließlich für von der Zeit abhängige Variablen.
Eingabe-Dateien
- Es wird keine Eingabesteuerdatei benötigt (interaktive Eingabe);
- UGRID CF NetCDF Daten (Dateityp cf-netcdf.nc).
Ausgabe-Dateien
- UGRID CF NetCDF Daten (Dateityp cf-netcdf.nc);
- Drucker-Ausgabe (Dateityp NCCHUNKIE.sdr) mit Informationen zum Programmablauf, Zeitaufwand für READ und WRITE, sowie erzielte Transferraten (MB/s);
- Trace-Ausgabe (Dateityp NCCHUNKIE.trc)
Methode
Es wurde auf die in https://support.hdfgroup.org/pubs/papers/2008-06_netcdf4_perf_report.pdf beschriebenen Konzepte zurückgegriffen.
Vorlauf-Programme
DATACONVERT, GRIDCONVERT, NCANALYSE, NCAGGREGATE, NCDELTA, NetCDF Operators, UNTRIM2007, UNTRIM2
Nachlauf-Programme
NCANALYSE, NCAGGREGATE, NCDELTA, NC2TABLE, NetCDF Operators
Weitere Informationen
Programmiersprache
Fortran95
zusätzliche Software
---
Originalversion
Programmpflege
Dokumentation/Literatur
Es sind keine Musterdateien vorhanden.
zurück zu Programmkennblätter