Zeilenumbruch ersetzen Algorithmus

[Delphi.Narium]

@Uwe Raabe

Es geht mir nicht um einen allumfassenden, immer und überall, jederzeit in allen Umgebungen und mit allen Delphiversionen funktionierenden Code, sondern um einen Vorschlag zur Problemlösung.

Selbstdenken und anpassen ist also durch erlaubt, erwünscht und im Rahmen des Möglichen.

Wenn Char nicht ein Byte ist, dann muss man das halt anpassen.

Statt der 1 könnte man halt eben auch SizeOf(ch1) nehmen oder SizeOf(EbenDerTypDenManBenutzt).

[KodeZwerg]

Ich finde es dennoch ineffektiv eine neue und vor allem byte-weise arbeitende Prozedur anzuwenden.
Wenn doch alles bereits bestens funktioniert nur halt die Ausgabe rumzickt dann arbeite ich am Parser und geh nicht im Vorfeld die genannten 700MB komplett (oder chunk-weise) durch um bytes zu ersetzen/entfernen was ja dann eh wieder an Parser geschickt wird der ja namentlich sowas regeln sollte, oder?

[hansklok]

Zitat von KodeZwerg:

Noch eine Idee, aber ich weiß nicht ob alle Delphi Versionen das mitmachen,
deine Text-Datei einfach per ReadLn() einlesen, da ist automatisch schluss, egal wie die zeichenfolge ist.
also im BeginUpdate modus per schleife alles in deine memobox laden, dann passts.

Das hatte ich versucht, ist aber viel langsamer, als alles in einem Wisch als String einzulesen und dann in ein Array zu splitten. Das funktioniert eben nur korrekt, wenn man eine mit „0A“ kodierten Zeilenumbrüchen Datei vorliegen hat.

Zitat von KodeZwerg:

Ich finde es dennoch ineffektiv eine neue und vor allem byte-weise arbeitende Prozedur anzuwenden.
Wenn doch alles bereits bestens funktioniert nur halt die Ausgabe rumzickt dann arbeite ich am Parser und geh nicht im Vorfeld die genannten 700MB komplett (oder chunk-weise) durch um bytes zu ersetzen/entfernen was ja dann eh wieder an Parser geschickt wird der ja namentlich sowas regeln sollte, oder?

Nochmal zur Aufklärung, die Parserklasse erwartet nur einen einzeiligen String, der dann mittels Regulärem Ausdruck in Einzelteile gesplittet wird. Heißt, den Parser interessiert ein Zeilenumbrüchen nicht. Er erwartet einen bereits korrekt gesplitteten String. Deswegen muss ich ja zwei Durchläufe machen. Einen zum splitten der Zeilen der Datei in ein Array und einen, der das Array Zeilenweise parst.
Mir fällt keine andere Taktik ein, als eine Art Präprozessor, der erst alle Zeilenumbrüche auf „0A“ vereinheitlicht, dann im zweiten Durchlauf alle Zeilen mit „0A“ am Ende in ein Zeilen-Array splittet und dann jede Zeile parst.

[KodeZwerg]

Danke für Aufklärung, nun sieht die Lage für mich anders aus und byte-check ist absolut Ok.
Mein Ablauf wäre wie folgt:
Datei puffern,
Byte-Check starten,
innerhalb des checks gleich einen fertigen String anfertigen anstelle einen neuen Stream zu erschaffen,
(das erspart dir ein erneutes Suchen nach $0A, in theorie könntest Du sogar den check einzeln auf $0A und $0D beschränken,
also bei jedem 0A oder 0D den String als fertig betrachten und eher auf die Länge des produzierten Strings reagieren um Leerzeilen zu vermeiden, nachteil: bewusste Leerzeilen fehlen dann)
fertige Zeile eventuell mit TStringList verwalten (virtuell puffern) oder gleich an Bestimmungsort senden,
Parser weglassen da bereits alles fertig ist.

Ps: Im Nachhinein, als ich Nachricht bereits abgeschickt hatte, fiel mir auch ein, ReadLn() ist ja LowLevel langsame Routine, sorry dafür!