EoutOfMemory bei Readln

[vt670]

Beim einlesen einer CSV-Datei (AssignFile, Reset, Readln) erhalte
ich eine exception "Speicher reicht nicht aus" in der Readln zeile.
Die CSV-Textzeile ist 2,4 MB lang.
Die Zuweisung eines 4 MB Buffers mit SetTextBuf beeinflusst das Verhalten überhaupt nicht.
Wäre dankbar wenn mir jemand weiterhlefen könnte.

Viele grüsse
VT

[Luckie]

An ReadLn liegt es wohl weniger, viel mehr, was du mit der eingelesenen Zeile machst.

[vt670]

Zitat:

Zitat von Luckie

An ReadLn liegt es wohl weniger, viel mehr, was du mit der eingelesenen Zeile machst.

Hi Michael,

nein ist eindeutig Readln. Leider
Haltepunkt -> Singlestep -> Exception (grrrrr)
Trotzdem danke für's lesen

VT

[shmia]

Zitat:

Zitat von Luckie

An ReadLn liegt es wohl weniger, viel mehr, was du mit der eingelesenen Zeile machst.

Ich könnte mir gut vorstellen, dass es da interne Begrenzungen gibt.
(bei der Format-Funktion sind z.B. auch nur max. 4098 Bytes möglich)
ReadLn weiss ja nicht im vorraus, wann ein CR+LF im Strom auftaucht.
Also wird auf Verdacht ein Lesepuffer mit einer best. Länge reserviert.
Man müsste testen oder TTextRec.BufSize auslesen...

[vt670]

Zitat:

Zitat von shmia

Zitat:

Zitat von Luckie

An ReadLn liegt es wohl weniger, viel mehr, was du mit der eingelesenen Zeile machst.

Ich könnte mir gut vorstellen, dass es da interne Begrenzungen gibt.
(bei der Format-Funktion sind z.B. auch nur max. 4098 Bytes möglich)
ReadLn weiss ja nicht im vorraus, wann ein CR+LF im Strom auftaucht.
Also wird auf Verdacht ein Lesepuffer mit einer best. Länge reserviert.
Man müsste testen oder TTextRec.BufSize auslesen...

Hi Shmia,

habe deinen vorschlag mal berücksichtigt und mal wie folgt
untersucht wieviel Byte eingelesen werden.

FillChar ( TextFileBuf, SizeOf(TextFileBuf), #0 );
AssignFile ( SaveDatei, Work );
SetTextBuf ( SaveDatei, TextFileBuf, SizeOf(TextFileBuf));
Reset ( SaveDatei );
WHILE NOT EOF (SaveDatei) AND NOT CancelFlag DO
BEGIN
TRY
Readln ( SaveDatei, Zeile );
Except
Test;
CancelFlag := Ja;
END;
END;

Procedure Test;
VAR
I,X : Integer;

BEGIN
FOR I:= Low(TextFileBuf) TO High(TextFileBuf) DO
BEGIN
IF TextFileBuf[I] = #0
THEN
BEGIN
X := I;
Break;
END;
END;
END;

An dem Buffer scheint es nicht zu liegen da er bis auf das letzte Byte (2.527.784) gefüllt ist.
Die internen Variablen von TTextRec stehen auf:
TTextRec(SaveDatei).BufSize : 8.388.608
TTextRec(SaveDatei).BufPos : 1.138.928
TTextRec(SaveDatei).BufEnd : 2.527.784

Also ich kapiere es nicht :wall:

[Flocke]

SetTextBuf hat, wenn überhaupt, nur Einfluss auf die Geschwindigkeit.

Das Problem wird sein, dass bei ReadLn jeweils Häppchen á 255 Zeichen eingelesen werden (short string), die dann jeweils in einen AnsiString umgewandelt und an das Ergebnis angehängt werden. Das sind ~4950 Durchläufe mit Speicherbelegung / Größenänderung.

Kannst du keine TStringList nehmen?

[vt670]

Hi Flocke,

gute Idee, TStringlist wäre vermutlich die bessere Lösung gewesen.

Zwar habe ich es zwischenzeitlich mit TFileStream und TReader gelöst (lediglich das CrLf war abtzufangen) aber dann wieder verworfen und die DB so geändert das keine so große CSV-Dateien generiert werden.

Dir und allen anderen vielen Dank für eure Hilf.

Viele grüsse
VT