Umgang mit großen Datenmengen?

[bono_82]

Hallo,

ich habe eine Aufgabe zur Visualisierung und weitergehenden Brechnung von Messwerten
eine Software zu programmieren. Die Hauptschwierigkeit liegt darin, dass es sich um sehr
viele Werte handelt (bis zu 10000 Werte pro Sekunde können auftreten). Dementsprechend muss man
eventuell mit bis zu 2 GB Daten arbeiten.
Die Daten sind in Binärform auf einer SD-Karte vorhanden.

Nun meine Frage:
Was gibts es prinzipiell für Möglichkeiten um so große Datenmengen zu handeln (Visualisierung, Berechnungen)?
Ich habe mich schon etwas über MemoryMapping informiert. Geht das in die richtige Richtung?
Welche Techniken wären sonst noch empfehlenswert (Fensterung... etc.).

Beste Grüße!

[mkinzler]

Interessieren die Einzelwerte?
In welchem Fomrat liegen die Daten vor?
TStream

[bono_82]

Die Daten sind ohne Verwendung eines Dateisystem binär direkt
als Rohdaten auf der SD-Karte abgespeichert wurden.
Pro Sektor (512 Byte) liegen 31 Datensätze mit jeweils 2 Byte pro Wert
mal 8 Kanäle vor (macht 496 Byte + 16 Byte sonstiges Infos (Zeitstempel etc.)).

Zwecks Zoomfunktion kann es in gewissen Beeichen durchaus interessant sein möglichst alle Werte
darzustellen, bzw. damit Berechnungen durchzuführen.

[webcss]

Bei dieser Menge ist es vermutlich sinnvoll mit Mittelwerten zu arbeiten, je nach Aufgabenstellung in einer Auflösung von z.B. 30 Sekunden, und bei Bedarf in bestimmte Sektoren hineinzuzoomem. Quasi, der Zoomfaktor bestimmt den Bereich für die Mittelwertbildung.

[bono_82]

Danke dür Deinen Vorschlag. Ich habe auch schon in die Richtung gedacht.

Gibt es sonst noch Tips, wie man mit solch großen Datenmengen umgeht?
Anfangs wird die Datenmenge von mir erstmal auf sinnvolle Werte durchsucht und dementsprechend
eingeschränkt. Trotzdem sind immernoch mit sehr vielen Daten Berechnungen vorzunehmen.
Hat jemand mit einem ähnlichen Thema schon Erfahrung gesammelt?