Suche schnelle Speichermöglichkeit

[KahPee]

Hallo,
ich habe vor ein Programm zu schreiben wo ich mehrere Milliarden Einträge in einer Datenbank speichern muss. Ich möchte die Gewinnwahrscheinlichkeiten für alle möglichen Hände beim Pokern (Hold'em) errechnen lassen (ja ich weiß, dass das nen weilchen dauern wird ); und anschließend in eine Datenbank einspeichern, damit diese Wahrscheinlichkeiten am Ende möglichst schnell wieder ausgelesen werden können.

Ich bin lernfähiger Fortgeschrittener und nutze TurboDelphi (was aber Delphi sehr sehr sehr ähnlich ist). Was ich suche ist eine Datenbank oder irgendeine andere Speichermöglichkeit, die schnelles Schreiben und vorallem schnelles Auslesen ermöglicht!
Bisher habe ich nur in .ini-Dateien informationen abgespeichert, aber ich befürchte, dass das nicht gerade die schnellste Variante ist.

Gerade bei so großen Datenmengen wäre interessannt worauf ich außerdem noch achten muss um ein möglichst schnelles Ergebnis zu erzielen (wenn ich dann irgendwann die Wahl einer Datenbank getroffen habe).

Schon mal vielen Dank im vorraus!

KahPee

[Mithrandir]

Zitat von KahPee:

TurboDelphi (was aber Delphi sehr sehr sehr ähnlich ist).

Süß.
Oder meinst du TurboPascal?

Als Datenbanken fallen mir Firebird, SQLite und MYSQL ein..

[s.h.a.r.k]

Warum du Datenbank nutzen *musst*: diese sind (meist) auf Schnelligkeit hin optimiert und haben gegenüber Dateibasieren Formaten (XML und INI) viele Vorteile: Schnelligkeit, einfache Suche (SQL), Austauschbarkeit etc.

PS: TurboDelphi ist Delphi, aber nur eine etwas abgespeckte Version

[KahPee]

Okay.
Welche Datenbank ist für soetwas denn am besten geeignet? Welche Unterschiede (Vor- und Nachteile) gibt es bei den verschiedenen Datenbanken? Die Schnelligkeit ist bei so großen Mengen bei dem Projekt für mich von erster Bedeutung .
Ziemlich sicher werde ich das Programm am Anfang auf mehreren PC laufenlassen, sodass jeder PC teile des ganzen errechnet. Interessant wäre auch wie schnell man am ende diese Ergebnisse zusammenführen kann in einer einzigen Datei. Copy/Paste wäre natürlich perfekt, wobei ich auch bereit bin nen Programm zu programmieren, dass den Copy/Paste prozess dann übernimmt .

KahPee

[himitsu]

Milliarden?

alle möglichen Kombinationen pro Spieler:
52*51*50*49*48 + 52*51*50*49 + 52*51*50 = 318.505.200 (Millionen)

alle möglichen Kombination über ein ganzes Blatt
3,4*10^62 ... ich befürchte da reicht deine Festplatte nicht aus


PS: TurboDelphi = eingeschränktes Delphi 2006

[Basilikum]

ob das wirklich klappen kann ? du sprichst von "einigen" Milliarden Einträgen... nehmen wir mal an, es seien 3 Milliarden Einträge: jeder Eintrag sprich Record in der DB wird wohl ca. 40 Bytes umfassen (Wahrscheinlichkeit -> Float, irgendwie müssen die "Hände" abgebildet werden, Meta-Daten, Index, etc...) -> das gibt dann bereits 120 GB Daten...
ob das ein oder auch drei oder fünf banale Heim-PCs bewältigen können ?!?
da ist dann nix mit kurz Copy'n'Paste...

[KahPee]

So hab das ganze nochmal durchgerechnet, mir war schon klar, dass da größere Datenmengen anfallen. Nach verschiedenen Optimierungen müssen am Ende ca. 3*(10^9) Einträge abgebildet werden. Alle müssen eine Wahrscheinlichkeitsnummer die vier- fünfstellig ist haben (eine nachkommastelle, kann aber als byte oder ähnliches abgebildet werdern) und einen String (2-14 Zeichen) enthalten. Also max. ca. 20 byte pro datensatz. Teilweise weniger.

Das würde dann 56 GB an Daten machen (nen bissl mehr). Die Berechnungen sollen nicht nur auf HeimPCs laufen ^^ in der Hinsicht wird sowohl Masse als auch Klasse ins Rennen geworfen .

Bleibt natürlich die Frage wie schnell man bei der eingabe einer Hand den entsprechnenden Datensatz in der DB findet

mfg KahPee

[Delphi-Laie]

Das ganze soll doch nicht etwa auch noch in Echtzeit (also die, über die man als Pokerspieler für seine Entscheidungen gewöhnlicherweise verfügt) reagieren und einem die Entscheidungen beeinflussen oder gar abnehmen?

Wenn ich diese Datenmengen lese, so garantiere ich, daß das für die derzeitig verfügbare, erschwingliche Heimelektronik auch unter dem Einsatz von 64 Bit, Terabyte an HDD-, etlichen Gigabyte an Hauptspeicherkapazität, einigen Megahertz an Prozessortakt und mehreren Prozessoren oder wenigstens Prozessorkernen dennoch eine solch gewaltige Herausforderung sein wird, daß diese nur äußerst zäh reagieren wird.

[rollstuhlfahrer]

ich persönlich würde MySQL und nen 64Bit-System mit mehr als 4 GB Hauptspeicher nehmen. Je mehr Hauptspeicher die Kiste hat, desto schneller kann die auch die ganzen Einträge verarbeiten. Mal grob gerechnet wird das aber SEHR teuer. 56GB sind ein ganzes Stückchen. Da wirst du nicht alles im Hauptspeicher halten KÖNNEN. Und bei der Suche wirst du dir auch noch was einfallen lassen müssen. Ich hab keine Vorstellung wie das gehen soll. Höchstens 32 boolean-Werte in denen dann das Blatt drin steht. Die boolean-Werte lassen sich aber auch in einem 32-Bit Integer speichern, welcher genauso groß ist, aber die DB nicht so stark belastet.

Bernhard

PS: Ich lass dich ganz einfach mal machen.

EDIT: oups: Poker geht ja nicht mit 32 Karten. Das sind ein paar mehr.

[Luckie]

Warum so großen Datenmengen vorhalten? Das Errechnen sollte nicht viel länger dauern als das Suchen in einer so großen Datenbank. Man sollte sich wohl eher Gedanken machen, wie man die Karten, die man auf der Hand hat möglichst effizient eingibt.