Aktionen

NCCHUNKIE: Unterschied zwischen den Versionen

Aus BAWiki

(NCDVAR als Preprocessor ergänzt)
(einige IZW-Campus-Links aktualisiert)
 
(7 dazwischenliegende Versionen desselben Benutzers werden nicht angezeigt)
Zeile 2: Zeile 2:
|name_en=NCCHUNKIE
|name_en=NCCHUNKIE
|name=NCCHUNKIE
|name=NCCHUNKIE
|version=Januar 2020
|version=April 2022
|version_beschr=März 2020
|version_beschr=September 2022
|stichworte=Datenkonversion<br />
|stichworte=Datenkonversion<br />
Postprocessor<br/>
Postprocessor<br/>
Automatische Anpassung der READ-Daten-Portionen an Chunk-Größe<br />
Automatische Anpassung der READ-Daten-Portionen an Chunk-Größe<br />
Automatische Berechnung der Chunk-Größen der Ergebnisvariablen für orthogonalen Datenzugriff
Automatische Berechnung der Chunk-Größen der Ergebnisvariablen für orthogonalen Datenzugriff<br />
Parallelisierung (''collective'' IO) mit [http://de.wikipedia.org/wiki/Message_Passing_Interface MPI]<br />


  Danksagung: ''This project took advantage of netCDF software developed by UCAR/Unidata ([http://www.unidata.ucar.edu/software/netcdf/ www.unidata.ucar.edu/software/netcdf/]).''
  Danksagung: ''This project took advantage of netCDF software developed by UCAR/Unidata ([http://www.unidata.ucar.edu/software/netcdf/ www.unidata.ucar.edu/software/netcdf/]).''
Zeile 16: Zeile 17:
# Die erzeugten Chunk-Größen liegen dabei zwischen der ''Disc Block Size'' und der ''Chunk Buffer Size'';  
# Die erzeugten Chunk-Größen liegen dabei zwischen der ''Disc Block Size'' und der ''Chunk Buffer Size'';  
# Die Daten der Ergebnisdatei werden Online komprimiert (niedrige Kompressionsstufe, Level 1);
# Die Daten der Ergebnisdatei werden Online komprimiert (niedrige Kompressionsstufe, Level 1);
# Es wird eine Datei im netCDF-4 ''Classic Model Format'' erzeugt (also eine netCDF-kompatible HDF-Datei);
# Es wird eine Datei im netCDF-4-Format erzeugt (serielle Version NetCDF4 ''Classic Model Format'');
# Die Parameter ''Cache Size'' und ''Cache Nelems'' der netCDF-4 API werden automatisch ermittelt.
# Die Parameter ''Cache Size'' und ''Cache Nelems'' der netCDF-4 API werden automatisch ermittelt.


Zeile 23: Zeile 24:


|eingabedateien=
|eingabedateien=
# Es wird keine Eingabesteuerdatei benötigt (interaktive Eingabe);
# Es wird keine Eingabesteuerdatei benötigt (Parameter in Kommandozeile oder interaktive Eingabe);
# '''UGRID CF NetCDF Daten''' (Dateityp [[CF-NETCDF.NC|cf-netcdf.nc]]).
# '''UGRID CF NetCDF Daten''' (Dateityp [[CF-NETCDF.NC|cf-netcdf.nc]]).


Zeile 34: Zeile 35:
Es wurde auf die in [https://support.hdfgroup.org/pubs/papers/2008-06_netcdf4_perf_report.pdf https://support.hdfgroup.org/pubs/papers/2008-06_netcdf4_perf_report.pdf] beschriebenen Konzepte zurückgegriffen.
Es wurde auf die in [https://support.hdfgroup.org/pubs/papers/2008-06_netcdf4_perf_report.pdf https://support.hdfgroup.org/pubs/papers/2008-06_netcdf4_perf_report.pdf] beschriebenen Konzepte zurückgegriffen.


|preprozessor=[[DATACONVERT]], [[GRIDCONVERT]], [[NCANALYSE]], [[NCAGGREGATE]], [[NCCUTOUT]], [[NCDELTA]], [[NCDVAR]], [[NetCDF Operators]], [[UNTRIM2007]], [[UNTRIM2]]
|preprozessor=[[DATACONVERT]], [[GRIDCONVERT]], [[NCANALYSE]], [[NCAGGREGATE]], [[NCCUTOUT]], [[NCDELTA]], [[NCDVAR]], [[NCMERGE]], [[NetCDF Operators]], [[UNTRIM2007]], [[UNTRIM2]]
|postprozessor=[[NCANALYSE]], [[NCAGGREGATE]], [[NCCUTOUT]], [[NCDELTA]], [[NCDVAR]], [[NC2TABLE]], [[NetCDF Operators]]
|postprozessor=[[NCANALYSE]], [[NCAGGREGATE]], [[NCCUTOUT]], [[NCDELTA]], [[NCDVAR]], [[NCMERGE]], [[NC2TABLE]], [[NetCDF Operators]]
|programmiersprache=Fortran95
|programmiersprache=Fortran95
|zus_software= ---
|zus_software= ---
|kontakt_original=[mailto:guenther.lang@baw.de G. Lang]
|kontakt_original=G. Lang
|kontakt_pflege=[mailto:guenther.lang@baw.de G. Lang], [mailto:susanne.spohr@baw.de S. Spohr]
|kontakt_pflege=[mailto:pos.proghome@baw.de Arbeitsgruppe POS]
|dokumentation=
|dokumentation=
Es sind keine Musterdateien vorhanden.
* [https://izw-campus.baw.de/ ''IZW-Campus''] (Podcast)
**2020-11-02: [https://izw-campus.baw.de/goto.php?target=cat_1832&client_id=iliasclient ''Chunking und NCCHUNKIE''];
** 2019-08-02: [https://izw-campus.baw.de/goto.php?target=cat_1831&client_id=iliasclient ''Anmerkungen zur Chunked I/O mit NetCDF-4 / HDF5''].
* Musterdateien
** Es sind keine Musterdateien vorhanden.
}}
}}

Aktuelle Version vom 7. November 2022, 08:04 Uhr

Basisinformationen

Programm-Name

NCCHUNKIE

Version

April 2022

Beschreibung

September 2022

Stichworte

Datenkonversion
Postprocessor
Automatische Anpassung der READ-Daten-Portionen an Chunk-Größe
Automatische Berechnung der Chunk-Größen der Ergebnisvariablen für orthogonalen Datenzugriff
Parallelisierung (collective IO) mit MPI

Danksagung: This project took advantage of netCDF software developed by UCAR/Unidata (www.unidata.ucar.edu/software/netcdf/).

Kurzbeschreibung

Das Programm NCCHUNKIE dient dem Chunken von cf-netcdf.nc Dateien:

  1. Die Größe der Chunks wird automatisch berechnet, wobei alle Dimensionen gechunkt werden (Kompromiss für orthogonalen Datenzugriff);
  2. Die erzeugten Chunk-Größen liegen dabei zwischen der Disc Block Size und der Chunk Buffer Size;
  3. Die Daten der Ergebnisdatei werden Online komprimiert (niedrige Kompressionsstufe, Level 1);
  4. Es wird eine Datei im netCDF-4-Format erzeugt (serielle Version NetCDF4 Classic Model Format);
  5. Die Parameter Cache Size und Cache Nelems der netCDF-4 API werden automatisch ermittelt.


Falls beim Lesen von Daten ein HDF error auftritt wird versucht, die Werte des gewünschten Datenrecords aus den Werten zeitlich benachbarter Records zu rekonstruieren (Interpolation). Diese Reparatur funktioniert ausschließlich für von der Zeit abhängige Variablen.

Eingabe-Dateien

  1. Es wird keine Eingabesteuerdatei benötigt (Parameter in Kommandozeile oder interaktive Eingabe);
  2. UGRID CF NetCDF Daten (Dateityp cf-netcdf.nc).

Ausgabe-Dateien

  1. UGRID CF NetCDF Daten (Dateityp cf-netcdf.nc);
  2. Drucker-Ausgabe (Dateityp NCCHUNKIE.sdr) mit Informationen zum Programmablauf, Zeitaufwand für READ und WRITE, sowie erzielte Transferraten (MB/s);
  3. Trace-Ausgabe (Dateityp NCCHUNKIE.trc)

Methode

Es wurde auf die in https://support.hdfgroup.org/pubs/papers/2008-06_netcdf4_perf_report.pdf beschriebenen Konzepte zurückgegriffen.

Vorlauf-Programme

DATACONVERT, GRIDCONVERT, NCANALYSE, NCAGGREGATE, NCCUTOUT, NCDELTA, NCDVAR, NCMERGE, NetCDF Operators, UNTRIM2007, UNTRIM2

Nachlauf-Programme

NCANALYSE, NCAGGREGATE, NCCUTOUT, NCDELTA, NCDVAR, NCMERGE, NC2TABLE, NetCDF Operators

Weitere Informationen

Programmiersprache

Fortran95

zusätzliche Software

---

Originalversion

G. Lang

Programmpflege

Arbeitsgruppe POS

Dokumentation/Literatur

zurück zu Programmkennblätter

Strukturübersicht

Abgerufen von „https://wiki.baw.de/de/index.php?title=NCCHUNKIE&oldid=36054“