Climate Data Operators: Unterschied zwischen den Versionen
Aus BAWiki
imported>Sehili Aissa (Die Seite wurde neu angelegt: „en:Climate Data Operators ==Über CDO== Die Klimadaten Operatoren Software (CDO) ist eine große Sammlung von Operatoren für die Analyse und Bearbeitu…“) |
(Die LinkTitles-Erweiterung hat automatisch Links zu anderen Seiten hinzugefügt (<a target="_blank" rel="nofollow noreferrer noopener" class="external free" href="https://github.com/bovender/LinkTitles">https://github.com/bovender/LinkTitles</a>).) |
||
| (11 dazwischenliegende Versionen von 4 Benutzern werden nicht angezeigt) | |||
| Zeile 1: | Zeile 1: | ||
[[en:Climate Data Operators]] | [[en:Climate Data Operators]] | ||
==Über CDO== | |||
Die Klimadaten Operatoren Software (CDO) ist eine große Sammlung von Operatoren für die Analyse und Bearbeitung von Klima und NWP(Numerical Weather Prediction)-[[Modell]]-Ausgabe. CDO wird durch das [https://code.zmaw.de/projects/cdo Max-Planck-Institut für Meteorologie] entwickelt und gehört zum „European Network for Earth System Modelling“. CDO ist eine unter GNU-Lizenz frei erhältliche Software. | |||
CDO bündelt den gleichen Satz an Bearbeitungsfunktionen für das GRIB und das [[NetCDF]] Datenformat. Dazu, ermöglicht das zusätzliche Climate Data Interface (CDI) den Zugriff auf beliebige Datenformate. Die MPI-Met I/O Datenformate SERVICE, EXTRA und IEG werden ebenfalls unterstützt. | |||
== Die wichtigsten CDO-Merkmale== | |||
* CDO besteht aus mehr als 700 Operatoren. | |||
* Modularer Aufbau und leicht mit neuen Operatoren erweiterbar. | |||
* Sehr einfache UNIX-Befehlszeilen-Schnittstelle. | |||
* Ein Datensatz kann von mehreren Operatoren bearbeitet werden ohne Zwischenspeicherung. | |||
* Die meisten Operatoren können Datensätze mit fehlenden Werten handhaben. | |||
* Schnelle Verarbeitung von großen Datensätzen. | |||
* Unterstützung von vielen verschiedenen Gitterarten. | |||
* Getestet auf vielen UNIX/Linux-Systeme, Cygwin und MacOS-X. | |||
==CDO-Operatorenklassen== | |||
Die CDO Operatoren sind einfache Funktionen und werden in verschiedenen Klassen zusammengefasst. Die Funktionsgruppen die für die BAW von Relevanz sind werden hier kurz beschrieben (aus der offiziellen Dokumentation). | |||
*'''Information''' Operatoren um Informationen über die Datensätze zu bekommen. Die Ausgabe liegt im Standard Output. | |||
*'''Dateioperationen''' Operatoren um Operationen auf den Dateien durchzuführen. Dazu gehört z.B. das Kopieren, Ersetzen, Zusammenfügen und Aufteilen von Datensätzen. | |||
*'''Selektion:''' Operatoren zur Selektion eines Abschnittes der Daten . Mit diesen Operatoren können über Zeitschritte, Felder oder einen Teil eines Feldes eines Datensatzes Daten ausgegeben werden. | |||
*'''Vergleich:''' Operatoren zum Vergleich von verschiedenen Datensätzen. Die Ausgabe ist 1 wenn der Vergleich wahr ist andernfalls wird 0 ausgegeben. | |||
== | *'''Änderung:''' Operatoren zur Änderung eines Datensatzes. Hier können Metadaten, Felder oder Abschnitte eines Feldes in einem Datensatz geändert werden. | ||
*'''Arithmetik:''' Operatoren um Datensätze arithmetisch zu verarbeiten. u.A. können z.B. Konstanten hinzugefügt, abgezogen, multipliziert oder dividiert werden. Eine direkte Bearbeitung der Felder ist auch möglich. Zusätzlich können noch ganze Zeitreihen miteinander addiert, subtrahiert, multipliziert oder dividiert werden. | |||
*'''Statistische Werte:''' Operatoren zur Berechnung von statistischen Werten in Datensätzen. Unter anderem können hier Minima, Maxima, Summen, Mittelwerte, Median, Durchschnitt, Varianz, Standardabweichung, Perzentile und Histogramme berechnet werden. | |||
*'''Interpolation:''' Operatoren um Datensätze zu interpolieren. Es gibt mehrere Operatoren um horizontale Felder zu einem neuen Raster zu interpolieren. Einige der Operatoren können nur 2D-Felder auf einem regelmäßigen rechteckigen Raster verarbeiten. Die vertikale Interpolation von 3D-Variablen von hybriden Modellebenen zu Höhen oder Druckniveaus wird ermöglicht. Die Interpolation zwischen Zeitschritten und Jahren ist auch möglich | |||
*'''Import/Export:''' Operatoren für die I/O von Dateien die nicht direkt mit CDO gelesen oder geschrieben werden können. Dazu gehören z.B. binäre und ASCII Datensätze. | |||
== Anwendungsbeispiele in der BAW== | |||
Anhand folgenden Beispiels wird gezeigt wie eine im GRIB2-Format bestehende COSMO-EU Meteo-Datei in das [[NetCDF]] Format konvertiert und dann weiterbearbeitet wird. Der Einfachheit halber werden bei dem Beispiel alle Eingangsdateien mit ifile benannt. Entsprechend werden alle Ausgabedateien mit ofile benannt. | |||
* Konvertieren nach [[NetCDF]]: | |||
cdo -t cosmo002 -f nc copy ifile.grib ofile.nc | |||
* Selektieren von bestimmten Variablen: | |||
cdo select,name=U,V,PMSL ifile ofile | |||
* Umbenennen der Variablen: | |||
cdo chname,PMSL,slp,U,u10,V,v10 ifile ofile | |||
*Setzen einer neuen Missing_value bsw. Fill_value: | |||
cdo setmissval,999.99 ifile ofile | |||
* Berechnen des Windgeschwindigkeitsbetrages: | |||
cdo expr,vel=sqrt(u10^2+v10^2); ifile ofile | |||
== Installierte Versionen == | |||
* Linux: cdo-1.9.8. auf KRONOS mit NetCDF4 übersetzt. | |||
* Alte Version für Linux-Desktops cdo-1.7.2 (nur NetCDF3). Aufruf mit cdo.i16 | |||
* Windows: nicht verfügbar | |||
---- | |||
zurück zu [[Standard-Software-Anwendungen (Add-ons)]] | |||
---- | |||
[[Strukturübersicht]] | |||
Aktuelle Version vom 21. Oktober 2022, 10:17 Uhr
Über CDO
Die Klimadaten Operatoren Software (CDO) ist eine große Sammlung von Operatoren für die Analyse und Bearbeitung von Klima und NWP(Numerical Weather Prediction)-Modell-Ausgabe. CDO wird durch das Max-Planck-Institut für Meteorologie entwickelt und gehört zum „European Network for Earth System Modelling“. CDO ist eine unter GNU-Lizenz frei erhältliche Software. CDO bündelt den gleichen Satz an Bearbeitungsfunktionen für das GRIB und das NetCDF Datenformat. Dazu, ermöglicht das zusätzliche Climate Data Interface (CDI) den Zugriff auf beliebige Datenformate. Die MPI-Met I/O Datenformate SERVICE, EXTRA und IEG werden ebenfalls unterstützt.
Die wichtigsten CDO-Merkmale
- CDO besteht aus mehr als 700 Operatoren.
- Modularer Aufbau und leicht mit neuen Operatoren erweiterbar.
- Sehr einfache UNIX-Befehlszeilen-Schnittstelle.
- Ein Datensatz kann von mehreren Operatoren bearbeitet werden ohne Zwischenspeicherung.
- Die meisten Operatoren können Datensätze mit fehlenden Werten handhaben.
- Schnelle Verarbeitung von großen Datensätzen.
- Unterstützung von vielen verschiedenen Gitterarten.
- Getestet auf vielen UNIX/Linux-Systeme, Cygwin und MacOS-X.
CDO-Operatorenklassen
Die CDO Operatoren sind einfache Funktionen und werden in verschiedenen Klassen zusammengefasst. Die Funktionsgruppen die für die BAW von Relevanz sind werden hier kurz beschrieben (aus der offiziellen Dokumentation).
- Information Operatoren um Informationen über die Datensätze zu bekommen. Die Ausgabe liegt im Standard Output.
- Dateioperationen Operatoren um Operationen auf den Dateien durchzuführen. Dazu gehört z.B. das Kopieren, Ersetzen, Zusammenfügen und Aufteilen von Datensätzen.
- Selektion: Operatoren zur Selektion eines Abschnittes der Daten . Mit diesen Operatoren können über Zeitschritte, Felder oder einen Teil eines Feldes eines Datensatzes Daten ausgegeben werden.
- Vergleich: Operatoren zum Vergleich von verschiedenen Datensätzen. Die Ausgabe ist 1 wenn der Vergleich wahr ist andernfalls wird 0 ausgegeben.
- Änderung: Operatoren zur Änderung eines Datensatzes. Hier können Metadaten, Felder oder Abschnitte eines Feldes in einem Datensatz geändert werden.
- Arithmetik: Operatoren um Datensätze arithmetisch zu verarbeiten. u.A. können z.B. Konstanten hinzugefügt, abgezogen, multipliziert oder dividiert werden. Eine direkte Bearbeitung der Felder ist auch möglich. Zusätzlich können noch ganze Zeitreihen miteinander addiert, subtrahiert, multipliziert oder dividiert werden.
- Statistische Werte: Operatoren zur Berechnung von statistischen Werten in Datensätzen. Unter anderem können hier Minima, Maxima, Summen, Mittelwerte, Median, Durchschnitt, Varianz, Standardabweichung, Perzentile und Histogramme berechnet werden.
- Interpolation: Operatoren um Datensätze zu interpolieren. Es gibt mehrere Operatoren um horizontale Felder zu einem neuen Raster zu interpolieren. Einige der Operatoren können nur 2D-Felder auf einem regelmäßigen rechteckigen Raster verarbeiten. Die vertikale Interpolation von 3D-Variablen von hybriden Modellebenen zu Höhen oder Druckniveaus wird ermöglicht. Die Interpolation zwischen Zeitschritten und Jahren ist auch möglich
- Import/Export: Operatoren für die I/O von Dateien die nicht direkt mit CDO gelesen oder geschrieben werden können. Dazu gehören z.B. binäre und ASCII Datensätze.
Anwendungsbeispiele in der BAW
Anhand folgenden Beispiels wird gezeigt wie eine im GRIB2-Format bestehende COSMO-EU Meteo-Datei in das NetCDF Format konvertiert und dann weiterbearbeitet wird. Der Einfachheit halber werden bei dem Beispiel alle Eingangsdateien mit ifile benannt. Entsprechend werden alle Ausgabedateien mit ofile benannt.
- Konvertieren nach NetCDF:
cdo -t cosmo002 -f nc copy ifile.grib ofile.nc
- Selektieren von bestimmten Variablen:
cdo select,name=U,V,PMSL ifile ofile
- Umbenennen der Variablen:
cdo chname,PMSL,slp,U,u10,V,v10 ifile ofile
- Setzen einer neuen Missing_value bsw. Fill_value:
cdo setmissval,999.99 ifile ofile
- Berechnen des Windgeschwindigkeitsbetrages:
cdo expr,vel=sqrt(u10^2+v10^2); ifile ofile
Installierte Versionen
- Linux: cdo-1.9.8. auf KRONOS mit NetCDF4 übersetzt.
- Alte Version für Linux-Desktops cdo-1.7.2 (nur NetCDF3). Aufruf mit cdo.i16
- Windows: nicht verfügbar
zurück zu Standard-Software-Anwendungen (Add-ons)