![]() |
Zeilenumbruch ersetzen Algorithmus
Hallo liebe Community,
ich lese teils sehr große Textdateien häppchenweise via Chunks mittels TFileStream ein. Später parse ich Zeile für Zeile. Nun gibt/gab es ja verschiedene Betriebssysteme, die unterschiedlich mit Zeilenumbrüchen umgehen. Ich gebe Zeilenumbrüche in Dateien nur noch mit dem Hex-Wert „0A“ aus. Es gibt aber auch die Kombination „0D0A“ und „0D“. Ich bin jetzt kein Programmierprofi. Wie kann man mittels TFileStream nach den Kombinationen „0D0A“ (2 Bytes) und „0D“ (1 Byte) suchen und diese durch „0A“ ersetzen? Ich denke das ganze über TFileStream zu lösen ist wesentlich schneller und ressourcenschonender, als String Replace Methoden zu verwenden. Grade bei einer großen Textdatei von knapp 700 Megabyte. Ich hoffe, ich habe meine Frage nachvollziehbar formuliert. Viele Grüße |
AW: Zeilenumbruch ersetzen Algorithmus
Schau dir mal in Sysutils die Function
Delphi-Quellcode:
an. Die arbeitet zwar auf
AdjustLineBreaks
Delphi-Quellcode:
, aber intern kommen auch nur
string
Delphi-Quellcode:
zum Einsatz. Das Verfahren lässt sich relativ leicht auf
PChar
Delphi-Quellcode:
umbauen. Du musst halt zusätzlich auf das Encoding achten.
Streams
|
AW: Zeilenumbruch ersetzen Algorithmus
Zitat:
Es geht kein Weg daran vorbei, die zu verarbeitenden Daten in den Speicher zu laden. Die Frage ist "nur" wie groß die Happen sind die verarbeitet werden. Gruß k-H |
AW: Zeilenumbruch ersetzen Algorithmus
Ich weiß ja nicht wie Deine Ausgabe der Text-Datei vonstatten geht, erstellt dein Parser einen String pro Zeile?
Falls ja, check doch lediglich die letzten 2 zeichen nach deinen Wert und ersetz das dann. Nachtrag: Bzw. implementier in deinem Parser diese Zusatzfunktion, da du ja bereits eine Zeile in irgendeiner art und weise besitzt check die letzten 2 bytes. Ein Einblick in deinen Parser wäre hilfreich. Weiterer Nachtrag:
Delphi-Quellcode:
//hier ein mini Beispiel für Strings, mit bissl justierung auch für PChar's bzw alles wo man "position + wert" nutzt, daß Prinzip bleibt immer das selbe
Function CalibrateString( EineParserZeile : String ) : String; begin // letzte 2 zeichen nach 0D0A checken if Length(EineParserZeile) > 1 then // falls man einen minimum längen-check einbaut wird's sicherer. optional. if ((EineParserZeile[Length(EineParserZeile)-1] = char($0D)) and (EineParserZeile[Length(EineParserZeile)] = char($0A))) then begin EineParserZeile[Length(EineParserZeile)-1] := char($0A); // hier fehlt ein aufruf um das letzte zeichen zu entfernen, ich hab grad kein delphi parat aber für Strings würd ich einen Copy() Befehl verwenden. end; // letztes zeichen nach 0D checken if Length(EineParserZeile) >= 1 then // für mehr Speed kann man auch die ausführung oben mit einbauen aber falls tatsächlich mal eine Zeile mit nur einem char($0D) reinkommt wird die nicht verarbeitet if EineParserZeile[Length(EineParserZeile)] = char($0D) then EineParserZeile[Length(EineParserZeile)] := char($0A); // Rückgabe an dein Programm Result := EineParserZeile; end; //ps: als "Case" kann man das ganze auch verpacken. |
AW: Zeilenumbruch ersetzen Algorithmus
grober Vorschlag:
zwei Streams nehmen: 1. Stream = Input 2. Stream = Output 1. Stream byteweise (oder charweise) lesen. 2. jedes Zeichen abfragen, ob es in den Output soll. 3. Zeichen schreiben oder verwerfen. ungefähr (ungetestet) sowas:
Delphi-Quellcode:
Das sollte auch bei größeren Datenmengen noch vertretbar schnell sein.
procedure TIrgendeineKlasse.Zeichenaustauschen(input : TMemoryStream; output : TMemoryStream);
Var ch : Char; begin input.Position := 0; output.Position := 0; // Ist überhaupt was in der Datei drin? if input.Read(ch, 1) > 0 then begin repeat case ch of // Hier zeichenweise entscheiden, was geschehen soll. #10 : begin output.Write(ch,1); end; #13 : begin // output.Write(ch,1); end; else // Übrige Zeichen ausgeben. output.Write(ch,1); end; until input.Read(ch, 1) = 0; input.Position := 0; output.Position := 0; end; end; |
AW: Zeilenumbruch ersetzen Algoritmud
Vielen Dank schon einmal für die vielen Beitröge. Ich versuche darauf einzugehen. Wie gesagt, ich bin kein Profi und mir geht es eher um einen Aufbau des Algorithmus.
Zitat:
Zitat:
Zitat:
|
AW: Zeilenumbruch ersetzen Algorithmus
Im Case kannst Du jeweils das zuletzt gelesene Zeichen abfragen.
Findest Du nun eine #13 und willst sie nicht ausgeben, so wird sie halt nicht geschrieben. Oder anders ausgedrückt: In der Else werden alle die Zeichen ausgegeben, die nicht vorher im Case irgendwie verarbeitet wurden. Soll also z. B. die #13 nie ausgegeben werden, sähe der Quelltext so aus:
Delphi-Quellcode:
Oder die Antwort auf deine Frage Wenn ich jetzt auf #13 treffe, was muss ich dann machen? ist: Nichts.
procedure TIrgendeineKlasse.Zeichenaustauschen(input : TMemoryStream; output : TMemoryStream);
Var ch : Char; begin input.Position := 0; output.Position := 0; // Ist überhaupt was in der Datei drin? if input.Read(ch, 1) > 0 then begin repeat case ch of #13 : ; // Das Zeichen wird schlicht und einfach ignoriert. else output.Write(ch,1); // Übrige Zeichen ausgeben. end; until input.Read(ch, 1) = 0; input.Position := 0; output.Position := 0; end; end; Alle anderen Zeichen werden ausgegeben. |
AW: Zeilenumbruch ersetzen Algorithmus
Zitat:
Zitat:
|
AW: Zeilenumbruch ersetzen Algorithmus
Zitat:
Delphi-Quellcode:
procedure TIrgendeineKlasse.Zeichenaustauschen(input : TMemoryStream; output : TMemoryStream);
Var ch1 : Char; ch2 : Char; begin input.Position := 0; output.Position := 0; // Ist überhaupt was in der Datei drin? if input.Read(ch1, 1) > 0 then begin repeat case ch of #13 : begin // Das nächste Zeichen lesen. if input.Read(ch2, 1) <> 0 then begin case ch2 of #10 : ; // ignorieren, wird als nächstes Zeichen gelesen. else begin // wenn wir 'ne #13 erhalten und keine #10 folgt, geben wir 'ne #10 aus. ch2 := #10; output.Write(ch2,1); end; end; // und wieder ein Zeichen zurück. input.Position := input.Position - 1; end; end; else output.Write(ch1,1); // Übrige Zeichen ausgeben. end; until input.Read(ch1, 1) = 0; input.Position := 0; output.Position := 0; end; end; |
AW: Zeilenumbruch ersetzen Algorithmus
Zitat:
1. Auf der einen Seite werden ch1 und ch2 als Char (2 Bytes) deklariert, mit Read wird aber nur jeweils 1 Byte eingelesen. Damit ist das höhere Byte undefiniert und das case könnte daneben gehen. Da wir ja hier alle wohl von eine ANSI- bzw. UTF8-codierten Textdatei ausgehen, würde ich direkt mit Byte (oder AnsiChar) arbeiten. 2. Der Code unterschlägt das letzte Zeilenende, wenn dieses durch ein einzelnes #13 gekennzeichnet ist. 3. Eine Unicode-Datei könnte man damit nicht direkt umsetzen, da der komplette Bereich 0D00-0DFF sowie alle Zeichen mit 0D im Low-Byte falsch behandelt werden. Ich vermute aber, daß dies hier nicht relevant sein wird (siehe 1). |
AW: Zeilenumbruch ersetzen Algorithmus
Noch eine Idee, aber ich weiß nicht ob alle Delphi Versionen das mitmachen,
deine Text-Datei einfach per ReadLn() einlesen, da ist automatisch schluss, egal wie die zeichenfolge ist. also im BeginUpdate modus per schleife alles in deine memobox laden, dann passts. Bei bedarf memo-box inhalt zurück auf platte schreiben, dann ist format einheitlich egal wie's vorher war. |
AW: Zeilenumbruch ersetzen Algorithmus
@Uwe Raabe
Es geht mir nicht um einen allumfassenden, immer und überall, jederzeit in allen Umgebungen und mit allen Delphiversionen funktionierenden Code, sondern um einen Vorschlag zur Problemlösung. Selbstdenken und anpassen ist also durch erlaubt, erwünscht und im Rahmen des Möglichen. Wenn Char nicht ein Byte ist, dann muss man das halt anpassen. Statt der 1 könnte man halt eben auch SizeOf(ch1) nehmen oder SizeOf(EbenDerTypDenManBenutzt). |
AW: Zeilenumbruch ersetzen Algorithmus
Ich finde es dennoch ineffektiv eine neue und vor allem byte-weise arbeitende Prozedur anzuwenden.
Wenn doch alles bereits bestens funktioniert nur halt die Ausgabe rumzickt dann arbeite ich am Parser und geh nicht im Vorfeld die genannten 700MB komplett (oder chunk-weise) durch um bytes zu ersetzen/entfernen was ja dann eh wieder an Parser geschickt wird der ja namentlich sowas regeln sollte, oder? |
AW: Zeilenumbruch ersetzen Algorithmus
Zitat:
Zitat:
Mir fällt keine andere Taktik ein, als eine Art Präprozessor, der erst alle Zeilenumbrüche auf „0A“ vereinheitlicht, dann im zweiten Durchlauf alle Zeilen mit „0A“ am Ende in ein Zeilen-Array splittet und dann jede Zeile parst. |
AW: Zeilenumbruch ersetzen Algorithmus
Danke für Aufklärung, nun sieht die Lage für mich anders aus und byte-check ist absolut Ok.
Mein Ablauf wäre wie folgt: Datei puffern, Byte-Check starten, innerhalb des checks gleich einen fertigen String anfertigen anstelle einen neuen Stream zu erschaffen, (das erspart dir ein erneutes Suchen nach $0A, in theorie könntest Du sogar den check einzeln auf $0A und $0D beschränken, also bei jedem 0A oder 0D den String als fertig betrachten und eher auf die Länge des produzierten Strings reagieren um Leerzeilen zu vermeiden, nachteil: bewusste Leerzeilen fehlen dann) fertige Zeile eventuell mit TStringList verwalten (virtuell puffern) oder gleich an Bestimmungsort senden, Parser weglassen da bereits alles fertig ist. Ps: Im Nachhinein, als ich Nachricht bereits abgeschickt hatte, fiel mir auch ein, ReadLn() ist ja LowLevel langsame Routine, sorry dafür! |
AW: Zeilenumbruch ersetzen Algorithmus
Zitat:
TStringList: Lesen tut die Alles (LoadFromXyz und .Text) und geschreiben wird, was in TStringList.LineBreak steht. Aber TMemo ersetzt auch alles, gleich beim Zuweisen an .Text PS: ![]() Und das sucht übrigens auch doppelt und bytweise. * einmal um die Länge des Ergebnisses zu berechnen * und dann nochmal inkl. Umkopieren Denn das Suchen und nur eine Speicherreservierung ist wesentlich schneller, als mehrere Reservierungen+umkopieren während der Suche. Ach ja, ich hatte mir mal eine Ersetzenklasse geschrieben, welche die Operationen sammelt, in einem statischen Array und dann zusammen ausführt, wenn der Puffer voll oder die Arbeit beendet ist. Muß man auch nur einmal suchen, aber bearbeitet nicht jeden Schritt einzeln. |
AW: Zeilenumbruch ersetzen Algorithmus
Danke für das zahlreiche Feedback.
Zitat:
Zitat:
|
AW: Zeilenumbruch ersetzen Algorithmus
Nun ist mir wieder eingefallen in welchen Zusammenhang ich ReadLn() verwendete so das es auch noch relativ flott war.
hier ein mini beispiel:
Delphi-Quellcode:
Zu Deinen Fragen:
begin
test := TStreamReader.Create('C:\Test\Temp\Delphi\DP\Testing\Textfile.txt'); // hier kann auch ein dein puffer rein (TStream/Memory/File) damit es schneller abläuft // wenn im puffer-modus, musst du noch eine methode einbauen die die letzten zeichen vor dem ende sich "merkt" und beim nächsten puffer-laden vorneweg einbindet // LESE UNBEDINGT VORHER DIE DELPHI HILFE UM ZWISCHEN ASCII UND UTF-8 DATEIEN ZU UNTERSCHEIDEN, im normalfall wird ascii (0-127) verwendet (ich glaube so etwas gelesen zu haben) try while not(test.EndOfStream) do // in diesem beispiel verarbeite den TStreamReader.Create komplett bis zum ende der datei begin Memo1.Lines.Add(test.ReadLine); // das hier ist nur platzhalter damit man weiß wie man ReadLine benutzt // wenn du RichEdit anstelle von Memo nimmst, wird es ein wenig schneller // Memo konvertiert manchmal alles nochmal um und verbraucht damit 2-4x soviel speicher bei gleicher datenmenge // hier könntest du zum beispiel 100 zeilen in eine tstringlist o.ä. sammeln/puffern // die strings eventuell noch bearbeiten // und dann alle 100 auf einen rutsch in die anzeige mit beginupdate/endupdate zu casten end; finally test.Free; end; end; // dieses beispiel geht von richtigen input/output angaben aus und besitzt deswegen keinerlei weiterer checks // try -> finally reichte mir zum testen aus 1. Mit Puffern meine ich das was Du bereits machst, dir einen Teil vom ganzen Puffern (TStream). 2.1 Ich meinte Leerzeilen, nicht Leerzeichen 2.2 Die Zeile hier drüber ist eine Leerzeile und überall wo nichts steht ist ein Leerzeichen, das macht einen großen Unterschied ;-) |
Alle Zeitangaben in WEZ +1. Es ist jetzt 22:48 Uhr. |
Powered by vBulletin® Copyright ©2000 - 2025, Jelsoft Enterprises Ltd.
LinkBacks Enabled by vBSEO © 2011, Crawlability, Inc.
Delphi-PRAXiS (c) 2002 - 2023 by Daniel R. Wolf, 2024 by Thomas Breitkreuz