@Neil:
Irgendwer hatte in dem Thread schon geschrieben, dass man z.B. den Kurvenverlauf teilweise mit einer niedrigen Samplerate aufzeichnet, teilweise mit einer höheren ... halte ich nur für teilweise Sinnvoll, ich wollte aber mal daran erinnern.

Hi,

solange ja das Format wo die Daten gespeichert werden die Samplerate frei wählen kann ist doch alles okay oder? Durch meinen Vorschlag sind alle drei möglichen Fälle erschlagen.
1. Konstanter Wert
2. fixe Scanrate wo nur einmal die Scanrate angegeben wird. Danach folgen nur Daten.
3. Variable Scanrate wo eine Tabelle mit Zeitstempeln und Daten folgt.

Also alles in Butter.

Gruß

Neil

Wie werden Messdaten normalerweise gespeichert?

Eine Textdatei tuts ja auch. Einfach eine csv Datei mit Zeit und dem dazugehörigen wert. Dann is ja die Rate egal.

LG
Blackpuma

Hi,

ja das stimmt, so mache ich es jetzt. Aber da bekommst sehr schnell sehr große Datenmengen zusammen. Wenn die Samplerate hoch genug ist, sind es unter umständen einige MB. Dann kannst du dir das auch nicht mehr in Excel anschauen.

Gruß

Neil

Zitat:

---

Original geschrieben von MarkusJ

@Neil:
Irgendwer hatte in dem Thread schon geschrieben, dass man z.B. den Kurvenverlauf teilweise mit einer niedrigen Samplerate aufzeichnet, teilweise mit einer höheren ... halte ich nur für teilweise Sinnvoll, ich wollte aber mal daran erinnern.

---

Kommt auf den Verwendungszweck der Daten an. Wenn man eine Messreihe dokumentieren will, sollte man alle Daten aufzeichnen. Für die Verwendung der Daten wird man hingegen mehr oder weniger drastisch filtern. Zum Beispiel erhält man bei Ballonaufstiegen typischerweise Datenpunkt alle 10 Sekunden. Wenn man diese Daten anschliessend für eine Flugbahnrechnung einer Rakete verwendet, wird die Genauigkeit nicht mehr besser, wenn der Zeitschritt kleiner als 2 Sekunden gewählt wird. D.h ein Datenpunkt pro km reicht. Somit genügt es auch, die Daten zu komprimieren. Typischerweise komprimiert man in dieser Anwendung applikatorisch auf etwa 30 Datenpunkte (Faktor 60). Und das ist durchaus sinnvoll.

Übrigens beruht die JPEG Komprimierung darauf, dass man nach Transformation in den Frequenzraum nicht alle Komponenten mit der gleichen Auflösung samplet, und allgemein wird das als sehr sinnvoll empfunden. Ausser bei Fingerabdruckdatenbanken, wo die manchmal entstehenden Artefakte die Identifikation verunmöglichen.

Zitat:

---

Original geschrieben von Blackpuma

Wie werden Messdaten normalerweise gespeichert?

---

Beim CERN zum Beispiel gehen ganz viele Daten in sehr grosse geclusterte Oracle-Datenbanken.

Bei dem ferngesteuerten Teleskop der Universität von Little Rock, Arkansas, werden Wetterdaten (1 Messpunkt mit einem guten Dutzend Parameter pro Minute) direkt in einer MySQL Datenbank abgespeichert. Ebenso Daten über Temperatur der Kuppel und der Instrumente, Feuchtigkeit, Blitzaktivität in der Umgebung, Öffnungszeiten von Kuppel und Kameraverschluss. Website: nfo.edu

Warum werden Datenbanken verwendet? Weil dort der Zugriff auf jedes beliebige Datenelement sehr flexibel adressierbar ist. Und genau aus dem gleichen Grund sollte man ein XML-Format wie von Reinhard vorgeschlagen ins Auge fassen, welches jedes einzelne Datenelement adressierbar macht. Aus dem gleichen Grund ist Neils Vorschlag noch nicht tauglich, die einzelnen Elemente sind nicht mit vernünftigem Aufwand adressierbar.

Zitat:

---

Original geschrieben von Andreas Mueller

Beim CERN zum Beispiel gehen ganz viele Daten in sehr grosse geclusterte Oracle-Datenbanken.

Bei dem ferngesteuerten Teleskop der Universität von Little Rock, Arkansas, werden Wetterdaten (1 Messpunkt mit einem guten Dutzend Parameter pro Minute) direkt in einer MySQL Datenbank abgespeichert. Ebenso Daten über Temperatur der Kuppel und der Instrumente, Feuchtigkeit, Blitzaktivität in der Umgebung, Öffnungszeiten von Kuppel und Kameraverschluss. Website: nfo.edu

Warum werden Datenbanken verwendet? Weil dort der Zugriff auf jedes beliebige Datenelement sehr flexibel adressierbar ist. Und genau aus dem gleichen Grund sollte man ein XML-Format wie von Reinhard vorgeschlagen ins Auge fassen, welches jedes einzelne Datenelement adressierbar macht. Aus dem gleichen Grund ist Neils Vorschlag noch nicht tauglich, die einzelnen Elemente sind nicht mit vernünftigem Aufwand adressierbar.

---

Das ist mir schon klar das große Datenmengen in Datenbanken gespeichert werden. Ich dachte eher für den Heimgebrauch. Nich jeder hat einen Oracle Cluster im Keller stehen. *g* Ich hab nur MySQL und Postgres bei mir laufen!

Wie schaut denn die Datei aus die du hast Neil? Kannst du die vielleicht mal hochladen bei http://dms.modellraketen.at. Hoffe die Datei ist nicht größer als 5MB. auf das hab ichs nämlich beschränkt.

*gelöscht gem. BDSG*

Zitat:

---

vorsicht, die Daten des CERN, die Du anspricht sind in der Regel schon verarbeitete Daten.
Die Rohdaten sind in eigenen Binärformaten abgelegt, denn keine Datenbank der Welt ist schnell genug die Datenmenge abzuspeichern... Wenn ich mich richtig erinnere reden sie bei einigen Versuchen von GigaBytes/sec... Muss ich aber noch mal meine Freundin frage (Projektleitung GSI FAIR).

---

Das ist mir schon bekannt. Es ging explizit um die Frage, wie Messdaten gespeichert werden. Viele der mit hoher Rate anfallenden Daten werden gar nicht erst persistiert, sondern direkt vorverarbeitet, bis sie langsam genug anfallen, dass sie überhaupt persistiert werden können. Die Daten dürfen also durchaus bereits verarbeitet sein (z.B. kalibriert), es ging um die Frage nach der Speichermethode.

Aber eigentlich geht es ja nicht darum, sondern um ein universelles Austauschformat, welches möglichst flexibel ist, dass es Daten aller denkbarer Prüfstände möglichst ohne Verlust abbilden kann, aber auch vorverarbeitete Daten. Das Format sollte zudem strukturiert genug sein so dass man verschiene Darstellungsformen mit Standardwerzeugen erzeugen kann, vorzugsweise XSLT Stylesheets.

@Neil

Kannst du mir bitte mal eine Datei mit Messdaten in das Verzeichniss Messdaten unter http://dms.modellraketen.at legen. Ich würde mir das gerne ansehen.

LG
Blackpuma