LOG Auswertung Top 100 Listen welche Datenstrukturen ?

[ASoraru]

Hallo,

ich habe ja im Zusammenhang meiner LOG auswertung schon ein paar fragen gestellt ... nun geht es mir um die erstellung von top 100 listen der zugriffe etc. .. ich frage mich grad welche datentypen bzw strukturen ich nehme ... zum beispiel records in einer tlist .... oder records in einem dynamischen array ? ... was ist schneller ? was benötigt weniger speicher ? ...

das problem ist für mich das ich im schlimmsten fall ein log habe mit sagen wir mal 1000000 einträgen und ich müsste daraus trotzdem eine vernünftige top 100 der zugriffe erstellen .... da bi ich etwas ratlos wie ich das im speicher schnell handeln soll

Vielleicht habt ihr dort erfahrunge mit großen datenmengen ...

Grüße,

Andreas

[mkinzler]

Z.B. eine Datenbank

[haentschman]

Hallo...

ich werfe mal spontan bei dieser Menge ein DBMS in den Raum. Firebird

roter Kasten: och nöööö....

edit: @Markus mein Post sieht schöner aus

[ASoraru]

Zitat von haentschman:

Hallo...

ich werfe mal spontan bei dieser Menge ein DBMS in den Raum. Firebird

roter Kasten: och nöööö....

edit: @Markus mein Post sieht schöner aus

ist eine db echt von nöten ? ... wie schaut es da mit der speichernutzung aus und der geschindigkeit ?

[Bernhard Geyer]

Zitat von ASoraru:

ist eine db echt von nöten ? ... wie schaut es da mit der speichernutzung aus und der geschindigkeit ?

Bei richtiger Verwendung und Tabellen+Filterdefinition: Sehr gut.

[haentschman]

mit 1000000 Datensätzen und dem richtigen Index ist die Top 100 Liste in Millisekunden fertig sortiert im Dataset.

Warum hacken alle auf Speicher rum, Arbeitsspeicher im GB Format... Terrabyteplatten. Zum Vergleich ich habe eine Firebird Datenbank, 59 Tabellen, insgesamt über 300 Felder, 100000 Datensätze ... macht 8,5 MB Plattenplatz. So und jetzt du...

[ASoraru]

Zitat von Bernhard Geyer:

Zitat von ASoraru:

ist eine db echt von nöten ? ... wie schaut es da mit der speichernutzung aus und der geschindigkeit ?

Bei richtiger Verwendung und Tabellen+Filterdefinition: Sehr gut.

snief ....

dann wäre es doch am sinnvollsten wenn ich direkt alle daten des logs in eine db schaufele und die dann antsprechend auswerte .... oder ?

[mkinzler]

Ja, so war meine Antwort gemeint

[ASoraru]

Zitat von mkinzler:

Ja, so war meine Antwort gemeint

gut
dann versuche ich das mal ....
any idea ... normale delphi compos verwenden und dann welchen datenbanktyp nutzen ?

[mkinzler]

Es wurde schon FireBird embedded vorgeschlagen oder SQLite ...