Binäre (Hex) Suche

[Alter Mann]

Hallo,

ich brauche mal jemanden der mir auf die Sprünge hilft.

Ich möchte eine binäre Datei nach einer speziellen Bytefolge durchsuchen und das mit höchst
möglicher Geschwindigkeit. Die zu durchsuchenden Dateien können bis zu 4 TB Groß sein.
Ich habe schon die Suche genötigt und mir heute fast alle Treffer durch gelesen, es war nur
nichts gescheites dabei. Das lag aber wohl nur daran, dass entweder Strings, Records oder einzelne
Bytes gesucht wurden.
Ich möchte nach bytefolgen alá array of byte oder array[0..19] of byte suchen.
Eine Anpassung der JsTextSearch.pas von Jens Schumann an das Vorhaben
brachte leider nicht den gewünschten Erfolg. Das Verfahren kommt bei bestimmten bytefolgen
[1B58323232AAEF..] in einen loop bzw. dauert bei einer 512MB-Datei 1.13sec.

Wer also eine Idee hat, her damit.

Vielen Dank

[jfheins]

Binäre Suche kannste knicken wenn deine Daten nicht sortiert sind.

Bleiben noch Suchalgorithmen wie z.B. http://de.wikipedia.org/wiki/Boyer-Moore-Algorithmus
Falls du keine fertige Implementierung findest, musst du ihn wohl selbst implementieren.

Ach ja, und natürlich eine anständige Puffergröße verwenden. 4kB Mindestens.

[Furtbichler]

Boyer moore bietet sich hier an: Hier mal eine Delphi-Implementierung

http://www.delphigeist.com/2010/04/b...lphi-2010.html

Wie lang ist denn die zu suchende Bytefolge?

[p80286]

Such mal hier nach Boyer Moore, da gab es for ein paar Jahren eine Diskussion über die effizentest weiterentwicklung.

Gruß
K-H

[Furtbichler]

Welcher Algorithmus (BM, BM-Horspool, KMP, Quicksearch) der beste ist, kann pauschal nicht beantwortet werden, sondern ist vielmehr abhängig von der Alphabetgröße (hier: 256 Zeichen) und vor allen Dingen von der Länge des zu suchenden Teilstückes.

BM und Derivate spielt seine Stärken bei langen Substrings und großen Alphabeten aus.

[Alter Mann]

Wie immer,

schnell und zuverlässig.

Doch leider nicht so das Richtige.
Die JsTextSearch.pas von Jens ist eine Implementierung von Boyer Moore, habe
sie an Byte angepasst, läuft auch, aber kommt unter Umständen in einen Loop und es dauert.
Mit Strings ist sie Super schnell(512MB in 3sec.).
Werde mal die Fragen aufteilen, vielleicht findet sich ja die Lösung auf eine andere Art.

Danke an Alle und ein schönes Wochenende.