QS mit CheckSummen und FileContent - Versionsgeschichte

127.0.0.1: Die LinkTitles-Erweiterung hat automatisch Links zu anderen Seiten hinzugefügt (https://github.com/bovender/LinkTitles).

2022-10-21T09:55:58Z

Die LinkTitles-Erweiterung hat automatisch Links zu anderen Seiten hinzugefügt (<a target="_blank" rel="nofollow noreferrer noopener" class="external free" href="https://github.com/bovender/LinkTitles">https://github.com/bovender/LinkTitles</a>).

← Nächstältere Version		Version vom 21. Oktober 2022, 09:55 Uhr
Zeile 1:		Zeile 1:
	Die User können zur Qualitätssicherung mit dem [https://de.wikipedia.org/wiki/Message-Digest_Algorithm_5 ''Message-Digest Algorithmus 5 (MD5)''] gebildete Checksummen von Input-Dateien nutzen und den Inhalt von ASCII-Eingabedateien direkt aus den NetCDF-Ergebnisdateien extrahieren. Beide Features sind nicht ISO 19115 konform und können somit nicht in das Metadaten-Informationssystem MIS der BAW übernommen werden. Die Informationen können aber u.a. mit dem [https://www.unidata.ucar.edu/software/netcdf/docs/netcdf_utilities_guide.html#ncdump_guide ncdump]-Befehl direkt aus entsprechenden NetCDF-Dateien der BAW gelesen werden. Die Features wurden im Rahmen des DMQS-Projektes in die Simulationsprogramme UnTRIM und UnTRIM2 sowie die NetCDF-Dateien schreibenden Postprozessoren der BAW implementiert.		Die User können zur [[Qualitätssicherung]] mit dem [https://de.wikipedia.org/wiki/Message-Digest_Algorithm_5 ''Message-Digest Algorithmus 5 (MD5)''] gebildete Checksummen von Input-Dateien nutzen und den Inhalt von ASCII-Eingabedateien direkt aus den [[NetCDF]]-Ergebnisdateien extrahieren. Beide Features sind nicht ISO 19115 konform und können somit nicht in das Metadaten-Informationssystem MIS der BAW übernommen werden. Die Informationen können aber u.a. mit dem [https://www.unidata.ucar.edu/software/netcdf/docs/netcdf_utilities_guide.html#ncdump_guide ncdump]-Befehl direkt aus entsprechenden [[NetCDF]]-Dateien der BAW gelesen werden. Die Features wurden im Rahmen des DMQS-Projektes in die Simulationsprogramme [[UNTRIM\|UnTRIM]] und [[UNTRIM2\|UnTRIM2]] sowie die [[NetCDF]]-Dateien schreibenden Postprozessoren der BAW implementiert.

	'''1. Checksumme'''		'''1. Checksumme'''

	Checksummen dienen dazu die Gleichheit von Eingabedateien zweier Programmläufe zu prüfen. Die Programme bilden die Checksummen mit dem [https://de.wikipedia.org/wiki/Message-Digest_Algorithm_5 MD5]-Algorithmus und schreiben sie als CHAR-(Zeichen-)-Variablen in die NetCDF-Ergebnisdateien.		Checksummen dienen dazu die Gleichheit von Eingabedateien zweier Programmläufe zu prüfen. Die Programme bilden die Checksummen mit dem [https://de.wikipedia.org/wiki/Message-Digest_Algorithm_5 MD5]-Algorithmus und schreiben sie als CHAR-(Zeichen-)-Variablen in die [[NetCDF]]-Ergebnisdateien.
	Als Beispiel folgt eine aus zwei Teilstrings bestehende Checksummen-Variable, die jeweils <font color=blue>Prüfsummen</font> und Datei-Infos aus [[NCDELTA]]-Steuerdaten enthalten:		Als Beispiel folgt eine aus zwei Teilstrings bestehende Checksummen-Variable, die jeweils <font color=blue>Prüfsummen</font> und Datei-Infos aus [[NCDELTA]]-Steuerdaten enthalten:

	~~md5sum_m_ncdelta_steer~~ =		md5sum_m_[[NCDELTA\|ncdelta]]_steer =
	* "md5=<font color=blue>c260d840c14f4482dfad41cdf971c2c5</font>,		* "md5=<font color=blue>c260d840c14f4482dfad41cdf971c2c5</font>,
	file=/net/lustre/temp/FuE/UNK/r028/ser/wrk/2019_11_05_POS/6_ncdelta/int/ncdelta.dat,		file=/net/lustre/temp/FuE/UNK/r028/ser/wrk/2019_11_05_POS/6_ncdelta/int/ncdelta.dat,
Zeile 14:		Zeile 14:
	descr=Data_Files-Reference_File";		descr=Data_Files-Reference_File";

	Der Variableninhalt lässt sich für originale und neue NCDELTA-Läufe manuell extrahieren:		Der Variableninhalt lässt sich für originale und neue [[NCDELTA]]-Läufe manuell extrahieren:
	* ncdump –v <checksum_variable> <original_result.nc> > original.txt		* ncdump –v <checksum_variable> <original_result.nc> > original.txt
	* ncdump –v <checksum_variable> <new_result.nc> > new.txt		* ncdump –v <checksum_variable> <new_result.nc> > new.txt
Zeile 23:		Zeile 23:
	'''2. File-Content'''		'''2. File-Content'''

	BAW-Programme, die NetCDF-Dateien ausgeben, schreiben den Inhalt von ASCII-Eingabedateien in NetCDF-Variablen. Diese sind durch das Attribut cf_role = "dmqs_file_contents" gekennzeichnet. Das nachfolgende Beispiel zeigt die Eigenschaften einer Variable mit dem Inhalt einer Steuerdatei des Typs utromp2007.dat:		BAW-Programme, die [[NetCDF]]-Dateien ausgeben, schreiben den Inhalt von ASCII-Eingabedateien in [[NetCDF]]-Variablen. Diese sind durch das Attribut cf_role = "dmqs_file_contents" gekennzeichnet. Das nachfolgende Beispiel zeigt die Eigenschaften einer Variable mit dem Inhalt einer Steuerdatei des Typs utromp2007.dat:
	~~contents_m_untrim2007_steer_utromp2007~~:		contents_m_[[UNTRIM2007\|untrim2007]]_steer_utromp2007:
	* long_name = "/net/themis/system/akprog/examples/untrim2007/run/channel/new_3d/utromp2007_new_3d.dat"		* long_name = "/net/themis/system/akprog/examples/untrim2007/run/channel/new_3d/utromp2007_new_3d.dat"
	* short_name = "utromp2007_new_3d.dat"		* short_name = "utromp2007_new_3d.dat"
	* name_id = 3508		* name_id = 3508
	* comment = "Eingabedaten Paket ~~m_untrim2007_steer~~ File utromp2007_new_3d.dat"		* comment = "Eingabedaten Paket m_[[UNTRIM2007\|untrim2007]]_steer File utromp2007_new_3d.dat"
	* cf_role = "dmqs_file_contents" ;		* cf_role = "dmqs_file_contents" ;

	Der Inhalt der Eingabedateien, bspw. die Parametrisierung eines Simulationslaufes lässt sich einfach aus der Ergebnisdatei rekonstruieren:		Der Inhalt der Eingabedateien, bspw. die Parametrisierung eines Simulationslaufes lässt sich einfach aus der Ergebnisdatei rekonstruieren:
	* ncdump –v <filcon_variable> <result.nc>		* ncdump –v <filcon_variable> <result.nc>
	* mit dem MATLAB ncread Befehl		* mit dem [[MATLAB]] ncread Befehl
	* usw.		* usw.

	Zurück zu [[Erfassung_der_Metadaten_einer_Simulation \| Erfassung der Metadaten einer Simulation]]		Zurück zu [[Erfassung_der_Metadaten_einer_Simulation \| Erfassung der Metadaten einer Simulation]]

Ak3pscha am 20. Februar 2020 um 15:26 Uhr

2020-02-20T15:26:13Z

← Nächstältere Version		Version vom 20. Februar 2020, 15:26 Uhr
Zeile 1:		Zeile 1:
	Die User können zur Qualitätssicherung mit dem [https://de.wikipedia.org/wiki/Message-Digest_Algorithm_5 ''Message-Digest Algorithmus 5 (MD5)''] gebildete Checksummen von Input-Dateien nutzen und den Inhalt von ASCII-Eingabedateien direkt aus den NetCDF-Ergebnisdateien extrahieren. Beide Features sind nicht ISO 19115 konform und können somit nicht in das Metadaten-Informationssystem MIS der BAW übernommen werden. Die Informationen können aber u.a. mit dem [https://www.unidata.ucar.edu/software/netcdf/docs/netcdf_utilities_guide.html#ncdump_guide ncdump]-Befehl direkt aus entsprechenden NetCDF-Dateien der BAW gelesen werden. Die Features wurden im Rahmen des DMQS-Projektes in die Simulationsprogramme UnTRIM und UnTRIM2 sowie die ~~mit~~ NetCDF schreibenden Postprozessoren der BAW implementiert.		Die User können zur Qualitätssicherung mit dem [https://de.wikipedia.org/wiki/Message-Digest_Algorithm_5 ''Message-Digest Algorithmus 5 (MD5)''] gebildete Checksummen von Input-Dateien nutzen und den Inhalt von ASCII-Eingabedateien direkt aus den NetCDF-Ergebnisdateien extrahieren. Beide Features sind nicht ISO 19115 konform und können somit nicht in das Metadaten-Informationssystem MIS der BAW übernommen werden. Die Informationen können aber u.a. mit dem [https://www.unidata.ucar.edu/software/netcdf/docs/netcdf_utilities_guide.html#ncdump_guide ncdump]-Befehl direkt aus entsprechenden NetCDF-Dateien der BAW gelesen werden. Die Features wurden im Rahmen des DMQS-Projektes in die Simulationsprogramme UnTRIM und UnTRIM2 sowie die NetCDF-Dateien schreibenden Postprozessoren der BAW implementiert.

	'''1. Checksumme'''		'''1. Checksumme'''

Ak3glang: Hinweis auf MD5-Algorithmus präzisiert

2020-02-14T07:14:26Z

Hinweis auf MD5-Algorithmus präzisiert

← Nächstältere Version		Version vom 14. Februar 2020, 07:14 Uhr
Zeile 1:		Zeile 1:
	Die User können zur Qualitätssicherung mit dem ~~md5sum~~-Algorithmus gebildete Checksummen von Input-Dateien nutzen und den Inhalt von ASCII-Eingabedateien direkt aus den NetCDF-Ergebnisdateien extrahieren. Beide Features sind nicht ISO 19115 konform und können somit nicht in das Metadaten-Informationssystem MIS der BAW übernommen werden. Die Informationen können aber u.a. mit dem ncdump-Befehl direkt aus entsprechenden NetCDF-Dateien der BAW gelesen werden. Die Features wurden im Rahmen des DMQS-Projektes in die Simulationsprogramme UnTRIM und UnTRIM2 sowie die mit NetCDF schreibenden Postprozessoren der BAW implementiert.		Die User können zur Qualitätssicherung mit dem [https://de.wikipedia.org/wiki/Message-Digest_Algorithm_5 ''Message-Digest Algorithmus 5 (MD5)''] gebildete Checksummen von Input-Dateien nutzen und den Inhalt von ASCII-Eingabedateien direkt aus den NetCDF-Ergebnisdateien extrahieren. Beide Features sind nicht ISO 19115 konform und können somit nicht in das Metadaten-Informationssystem MIS der BAW übernommen werden. Die Informationen können aber u.a. mit dem [https://www.unidata.ucar.edu/software/netcdf/docs/netcdf_utilities_guide.html#ncdump_guide ncdump]-Befehl direkt aus entsprechenden NetCDF-Dateien der BAW gelesen werden. Die Features wurden im Rahmen des DMQS-Projektes in die Simulationsprogramme UnTRIM und UnTRIM2 sowie die mit NetCDF schreibenden Postprozessoren der BAW implementiert.

	'''1. Checksumme'''		'''1. Checksumme'''

	Checksummen dienen dazu die Gleichheit von Eingabedateien zweier ~~ähnlicher~~ Programmläufe zu prüfen. Die Programme bilden die Checksummen mit dem ~~md5sum~~-~~Befehl~~ und schreiben sie als ~~Character~~-Variablen in die NetCDF-Ergebnisdateien.		Checksummen dienen dazu die Gleichheit von Eingabedateien zweier Programmläufe zu prüfen. Die Programme bilden die Checksummen mit dem [https://de.wikipedia.org/wiki/Message-Digest_Algorithm_5 MD5]-Algorithmus und schreiben sie als CHAR-(Zeichen-)-Variablen in die NetCDF-Ergebnisdateien.
	Als Beispiel folgt eine aus zwei Teilstrings bestehende Checksummen-Variable, die jeweils <font color=blue>Prüfsummen</font> und Datei-Infos aus [[NCDELTA]]-Steuerdaten enthalten:		Als Beispiel folgt eine aus zwei Teilstrings bestehende Checksummen-Variable, die jeweils <font color=blue>Prüfsummen</font> und Datei-Infos aus [[NCDELTA]]-Steuerdaten enthalten:

Ak3pscha: kleine Änderungen

2020-02-13T10:48:06Z

kleine Änderungen

← Nächstältere Version		Version vom 13. Februar 2020, 10:48 Uhr
Zeile 1:		Zeile 1:
	~~NEU seit Januar 2020:~~ Die User können zur Qualitätssicherung mit dem md5sum-Algorithmus gebildete Checksummen von Input-Dateien nutzen und den Inhalt von ASCII-Eingabedateien direkt aus den NetCDF-Ergebnisdateien extrahieren. Beide Features sind nicht ISO 19115 konform und können somit nicht in das Metadaten-Informationssystem MIS der BAW übernommen werden. Die Informationen können aber u.a. mit dem ncdump-Befehl direkt aus entsprechenden NetCDF-Dateien der BAW gelesen werden. Die Features wurden im Rahmen des DMQS-Projektes in die Simulationsprogramme UnTRIM und UnTRIM2 sowie die mit ~~NC beginnenden und~~ NetCDF schreibenden Postprozessoren der BAW implementiert.		Die User können zur Qualitätssicherung mit dem md5sum-Algorithmus gebildete Checksummen von Input-Dateien nutzen und den Inhalt von ASCII-Eingabedateien direkt aus den NetCDF-Ergebnisdateien extrahieren. Beide Features sind nicht ISO 19115 konform und können somit nicht in das Metadaten-Informationssystem MIS der BAW übernommen werden. Die Informationen können aber u.a. mit dem ncdump-Befehl direkt aus entsprechenden NetCDF-Dateien der BAW gelesen werden. Die Features wurden im Rahmen des DMQS-Projektes in die Simulationsprogramme UnTRIM und UnTRIM2 sowie die mit NetCDF schreibenden Postprozessoren der BAW implementiert.

	'''1. Checksumme'''		'''1. Checksumme'''
Zeile 23:		Zeile 23:
	'''2. File-Content'''		'''2. File-Content'''

	BAW-Programme, die NetCDF-Dateien ausgeben, schreiben den Inhalt von ASCII-Eingabedateien in ~~Form von~~ NetCDF-Variablen. ~~Sie~~ sind durch das Attribut cf_role = "dmqs_file_contents" gekennzeichnet. ~~Im nachfolgenden~~ Beispiel ~~in CDL-Syntax enthält~~ die Variable ~~den~~ Inhalt einer Steuerdatei des Typs utromp2007.dat:		BAW-Programme, die NetCDF-Dateien ausgeben, schreiben den Inhalt von ASCII-Eingabedateien in NetCDF-Variablen. Diese sind durch das Attribut cf_role = "dmqs_file_contents" gekennzeichnet. Das nachfolgende Beispiel zeigt die Eigenschaften einer Variable mit dem Inhalt einer Steuerdatei des Typs utromp2007.dat:
	contents_m_untrim2007_steer_utromp2007:		contents_m_untrim2007_steer_utromp2007:
	* long_name = "/net/themis/system/akprog/examples/untrim2007/run/channel/new_3d/utromp2007_new_3d.dat"		* long_name = "/net/themis/system/akprog/examples/untrim2007/run/channel/new_3d/utromp2007_new_3d.dat"
Zeile 35:		Zeile 35:
	* mit dem MATLAB ncread Befehl		* mit dem MATLAB ncread Befehl
	* usw.		* usw.

			Zurück zu [[Erfassung_der_Metadaten_einer_Simulation \| Erfassung der Metadaten einer Simulation]]

Ak3pscha: Erste Version

2020-02-11T15:03:36Z

Erste Version

Neue Seite

NEU seit Januar 2020: Die User können zur Qualitätssicherung mit dem md5sum-Algorithmus gebildete Checksummen von Input-Dateien nutzen und den Inhalt von ASCII-Eingabedateien direkt aus den NetCDF-Ergebnisdateien extrahieren. Beide Features sind nicht ISO 19115 konform und können somit nicht in das Metadaten-Informationssystem MIS der BAW übernommen werden. Die Informationen können aber u.a. mit dem ncdump-Befehl direkt aus entsprechenden NetCDF-Dateien der BAW gelesen werden. Die Features wurden im Rahmen des DMQS-Projektes in die Simulationsprogramme UnTRIM und UnTRIM2 sowie die mit NC beginnenden und NetCDF schreibenden Postprozessoren der BAW implementiert.

'''1. Checksumme'''

Checksummen dienen dazu die Gleichheit von Eingabedateien zweier ähnlicher Programmläufe zu prüfen. Die Programme bilden die Checksummen mit dem md5sum-Befehl und schreiben sie als Character-Variablen in die NetCDF-Ergebnisdateien.
Als Beispiel folgt eine aus zwei Teilstrings bestehende Checksummen-Variable, die jeweils Prüfsummen und Datei-Infos aus [[NCDELTA]]-Steuerdaten enthalten:

md5sum_m_ncdelta_steer =
* "md5=c260d840c14f4482dfad41cdf971c2c5,
file=/net/lustre/temp/FuE/UNK/r028/ser/wrk/2019_11_05_POS/6_ncdelta/int/ncdelta.dat,
descr=Eingabesteuerdatei des Typs ncdelta.dat",
* "md5=85f91901af2404c5ef23b06f6c766bff,
file=/net/lustre/temp/FuE/UNK/r028/ser/wrk/2D.r028.IZ_2012.integ.nc,
descr=Data_Files-Reference_File";

Der Variableninhalt lässt sich für originale und neue NCDELTA-Läufe manuell extrahieren:
* ncdump –v <checksum_variable> <original_result.nc> > original.txt
* ncdump –v <checksum_variable> <new_result.nc> > new.txt

Der Vergleich der beiden Textdateien ergibt, ob im originalen und im neuen Lauf die exakt gleiche Eingabedatei verwendet worden ist.
Wenn die Prüfsummen nicht identisch sind, kann das sowohl eine ggf. zu vernachlässigende Änderung der Metadaten als auch eine wesentliche Änderung der Zahlenwerte sein.

'''2. File-Content'''

BAW-Programme, die NetCDF-Dateien ausgeben, schreiben den Inhalt von ASCII-Eingabedateien in Form von NetCDF-Variablen. Sie sind durch das Attribut cf_role = "dmqs_file_contents" gekennzeichnet. Im nachfolgenden Beispiel in CDL-Syntax enthält die Variable den Inhalt einer Steuerdatei des Typs utromp2007.dat:
contents_m_untrim2007_steer_utromp2007:
* long_name = "/net/themis/system/akprog/examples/untrim2007/run/channel/new_3d/utromp2007_new_3d.dat"
* short_name = "utromp2007_new_3d.dat"
* name_id = 3508
* comment = "Eingabedaten Paket m_untrim2007_steer File utromp2007_new_3d.dat"
* cf_role = "dmqs_file_contents" ;

Der Inhalt der Eingabedateien, bspw. die Parametrisierung eines Simulationslaufes lässt sich einfach aus der Ergebnisdatei rekonstruieren:
* ncdump –v <filcon_variable> <result.nc>
* mit dem MATLAB ncread Befehl
* usw.