Lösungsansätze gesucht: Datenspeicherung / -analyse

[jfheins]

Hmmm ... mit Strings könnte das bei großen Datenmengen langsam werden. Abhilfe schafft hier eine Quersumme oder ein kurzer Hash. Wenn diese Spalte indiziert ist, können relativ schnell relativ viele Daten ausgeschlossen werden.

oder direkt die varchar Spalte indizieren. Ist vielleicht nicht so flott, aber für 2000 Datensätze (eine lächerlich kleine Menge für eine richtige Datenbank) sollte das schon reichen.

[jobo]

Ich würde auch sagen, dass eine Datenbank davon nicht aus dem Tritt kommen sollte.
Zumal es vermutlich eine lokale, single User Db sein würde?
Ein Testselect auf 1,5 Mio Ds mit exakter Gleichheit auf einer indizierten Textspalte lag hier bei 0,5 Sekunden.

[mquadrat]

Prinzipiell würde ich da kein Problem sehen, wenn halbwegs regelmäßig aufgeräumt wird.

Zum Thema hashen vor dem Speichern: Müsste man mal schauen was die DB bei einem Index auf einem varchar() Feld macht. Wenn die selber auch hasht, dann würde man nur Zeit verschenken.

[rokli]

Warum legst du nicht einfach einen Primärschlüssel auf das Feld in der Tabelle? Dann hast du garkein Problem mehr, das die DB dann die Speicherung doppelter Sätze dirket ablehnen würde. Wenn Du den Satz dann trotzdem brauchst, legst Du ihn stattdessen in eine andere Tabelle ab ... und alles ist gut.

Welche DB sollst denn überhaupt sein?

Moin
Rolf

[Bbommel]

Ist denn eine Datenbank da wirklich nötig? Dazu wissen wir wahrscheinlich zu wenig darüber, was du wirklich machen willst, aber ich würde mal überlegen, ob es nicht sinnvoll wäre, in eine ganz andere Richtung zu denken, und die neu ankommenden Strings zumindest vorübergehend lokal im Speicher zu belassen. Wenn du die neu ankommenden Strings in einer sortierten Stringliste im Speicher hältst, dann sollte das Prüfen auf Vorhandensein und auch das sortierte Einfügen neuer Strings innerhalb einer Sekunde keinerlei Problem sein.

Auch wenn du diese Liste bspw. über eine ganze Stunde füllst, hast du ja gerade mal ca. 1,5 MB an Speicher belegt, was heute kein Problem sein sollte (60*60 Sekunden*400 Byte).

Geht natürlich nicht, wenn die Daten unbedingt und sofort dauerhaft in der DB gespeichert werden müssen.

Bis denn
Bommel

[s.h.a.r.k]

Eine Datenbank lacht über diese Mengen. Wenn du einen Index über die Spalte erzeugst, dann sollte es auch keinerlei Probleme geben.

Alternativ solltest du überlegen, ob eine DB-Anbindung wirklich sinnvoll ist. Schau dir evtl. mal THashedStringList aus der IniFiles-Unit an. Gerne auch in Kombination mit MD5-Hashes nutzbar (oder vergleichbares).

[webcss]

Das riecht nach dem Einsatz für eine Key/Value DB (BigTable), oder noch besser mongodb. Die sind für solche Aufgaben nahezu prädestiniert.
Schau's Dir mal an...

[p80286]

Wie wäre es den mit einer simplen Stringlist?
Wenn die sortiert ist, kannst Du über Dupignore ziemlich einfach feststellen ob die Nachricht schon einmal da war.

Gruß
K-H