SCHNELL: Erste 100 Zeichen aus Textdatei lesen

[PeterPanino]

Hallo! Was ist die SCHNELLSTE Methode, um die ersten 100 Zeichen aus einer Textdatei auszulesen?

[Aphton]

Was hast du bisher?

[nuclearping]

Die SCHNELLSTE Methode ist relativ, bzw. abhängig von der Quelle, von der du liest.

Eine Datei von einem USB-Stick, einer Festplatte oder einer SSD zu lesen, wird zu unterschiedlichen Ergebnissen führen.

Generell nehmen sich die Methoden nicht viel, es sei denn du stellst dich an und liest Byte-für-Byte.

Ansonsten sind die OS-Funktionen schon relativ performant, also TFileStream.Read, AssignFile / BlockRead, FileOpen / FileRead, ...

Wenn man's übertreiben und jede Millisekunde rausholen will, kann man sich mit MemoryMapping befassen.

Aber ob's das wert ist.

Was willst du denn machen?

[PeterPanino]

Ich verwende bisher folgende Funktion:

Delphi-Quellcode:

function GetStartBlockFromTextFile(const F: string; const X: Integer): string;
// holt die ersten X Zeichen aus der Text-Datei F
var
  SR : TStreamReader;
  Buffer: TCharArray;
begin
  SR := TStreamReader.Create(F);
  try
    SetLength(Buffer, X);
    SR.ReadBlock(Buffer, 0, Length(Buffer));
    Result := string(Buffer);
  finally
    SR.Free;
  end;
end;

Das ist zwar schon recht schnell, weil von einer SSD gelesen wird, aber ich frage mich, ob das auch von einer normalen Festplatte schnell genug für meinen Zweck ist, da die Funktion mehrmals hintereinander aufgerufen wird.

[Jumpy]

Du sagst, dass das mehrfach hintereinader genutzt wird. Wenn sich in der Zwischenzeit aber an der Datei nichts ändert, wäre es vllt. sinnig, das ausgelesene in einer Art Dictionary zu speichern, wobei der Filename F der Key ist. Die Funktion guckt dann, ob es zu F schon einen Eintrag gibt, wenn nicht liest sie die Datei aus und legt dafür einen neuen Eintrag an.

[Neutral General]

Ich schätze mal es sind (auch) verschiedene Textdateien.

Wenn die Textdateien nicht zuu groß sind, dann sollte TFileStream oder deine Methode schnell genug sein. Wenn du jetzt ne 300 MB Textdatei (oder sogar noch größer) hast dann wird es einen Moment dauern bis die Datei geladen ist. In dem Fall wären MMFs wahrscheinlich besser.

In dem Fall kannst du dir ja evtl mal http://www.delphipraxis.net/113289-mapped-streams.html anschauen. Der TFileStreamEx wäre in dem Fall deine 1. Wahl.

[himitsu]

TFileStream läd ja nicht sofort die gesamte Datei in den Arbeitsspeicher.
Datei öffnen, 100 Byte lesen, schließen und fertig.

Abgesehn davon daß eh mindestens 512 Byte gelesen werden, weil man Festplatten/Speichermedien nut Sektorweise ansprechen kann, aber hier vermutlich bis mindestens 8 KB, da die Dateizugriffe über den WFC (Windows File Cache) laufen (egal ob FileStream oder MMF, aber vorallem bei der MMF) und der WFC eine gewisse Verwaltungsgröße besitzt.


Aber was sind 100 "Zeichen"?
Das Problem ist, daß es von der Kodierung abhängt und man vorher nicht immer sagen kann, vieviel Byte 100 Zeichen sind.

[Sir Rufo]

@nuclearping

Die schnellste Methode ist nicht abhängig von der Quelle, sondern von der Art auf die Quelle zuzugreifen. Die Geschwindigkeit der Quelle ist durch die Bauart der Quelle festgelegt und kann nicht beeinflusst werden. Die Methode kann ich mir im Rahmen der Möglichkeiten der Zugriffsschicht aussuchen ;)

[Aphton]

Weiters würde ich dir wärmstens davon abraten, jedesmal in der Funktion Speicher für das dynamische Array zu allozieren (SetLength(); was eig. eh dann, sobald es außer Scope fällt (Funktionsende), dealloziert wird).
Lös das bitte anders!

Edit: Ich seh grad, dass du auch ein Kopiervorgang drinnen hast (Result := String(Buffer))

Ist imho auch unnötig und sehr ineffizient.

[p80286]

Zitat:

Zitat von PeterPanino (Beitrag 1187962)

Hallo! Was ist die SCHNELLSTE Methode, um die ersten 100 Zeichen aus einer Textdatei auszulesen?

die Frage ist rein akademisch, die meiste Zeit wird draufgehen um den Windowscache zu einer ordentlichen Zusammenarbeit zu Überreden.
In der Praxis wird es erst ab ca 1 MB interessant darber zu reden.

Gruß
K-H

[PeterPanino]

Zitat:

Zitat von Aphton (Beitrag 1188015)

Weiters würde ich dir wärmstens davon abraten, jedesmal in der Funktion Speicher für das dynamische Array zu allozieren (SetLength(); was eig. eh dann, sobald es außer Scope fällt (Funktionsende), dealloziert wird).
Lös das bitte anders!

Wie würdest du das lösen? Den Speicher außerhalb der Funktion allozieren?

Zitat:

Zitat von Aphton (Beitrag 1188015)

Edit: Ich seh grad, dass du auch ein Kopiervorgang drinnen hast (Result := String(Buffer))
Ist imho auch unnötig und sehr ineffizient.

Ich brauche ja das Funktionsergebnis als string. Wie soll man sonst einen string als Funktionsergebnis erhalten?

[shmia]

Ohne Kopieren in Zwischenpuffer:

Delphi-Quellcode:

function GetStartBlockFromTextFile(const F: string; const X: Integer): AnsiString;
// holt die ersten X Zeichen aus der Text-Datei F
var
  SR : TStreamReader;
  len : Integer;
begin
  SR := TStreamReader.Create(F);
  try
    SetLength(Result, X);
    len := SR.ReadBlock(Result, 0, X);
    // evtl. in len < X, dann wird der String entsprechend verkürzt
    SetLength(Result, len);
  finally
    SR.Free;
  end;
end;

[Aphton]

Zitat:

Zitat von PeterPanino (Beitrag 1188210)

Wie würdest du das lösen? Den Speicher außerhalb der Funktion allozieren?

Kommt ganz drauf an, was du mit den 100 Bytes bezwecken willst.. Ein Beispiel wäre das hier

Delphi-Quellcode:

// die funktion liefert die erste datei, bei der die ersten 100 stellen aus Nullen bestehen, zurück
function searchForEmpty100(const Filenames: Array of AnsiString): Integer;
var
  iFile   : Integer;
  Buffer  : AnsiString;
  hFile   : THandle;
  Bytes   : Cardinal;
const
  BUFSIZE = 100;
begin
  SetLength(Buffer, BUFSIZE); // einmaliges Allozieren
  for iFile := 0 to High(Filenames) do
  begin
    hFile := CreateFileA(pAnsiChar(Filenames[iFile]), GENERIC_READ, FILE_SHARE_READ, NIL,
      OPEN_EXISTING, FILE_ATTRIBUTE_NORMAL, 0);  // jede datei öffnen
    if hFile <> INVALID_HANDLE_VALUE then
      try
        ReadFile(hFile, Buffer[1], BUFSIZE, Bytes, NIL);
        if BUFSIZE = Bytes then
        begin // genau 100 zeichen konnten eingelesen werden
          if check_100bytes(buffer) then
          begin
            Result := iFile;
            break;
          end;
        end;
      finally
        CloseHandle(hFile);  // und wieder schließen, sofern geöffnet
      end;
  end;
end;

[PeterPanino]

Zitat:

Zitat von shmia (Beitrag 1188213)

Ohne Kopieren in Zwischenpuffer:

Delphi-Quellcode:

function GetStartBlockFromTextFile(const F: string; const X: Integer): AnsiString;
// holt die ersten X Zeichen aus der Text-Datei F
var
  SR : TStreamReader;
  len : Integer;
begin
  SR := TStreamReader.Create(F);
  try
    SetLength(Result, X);
    len := SR.ReadBlock(Result, 0, X);
    // evtl. in len < X, dann wird der String entsprechend verkürzt
    SetLength(Result, len);
  finally
    SR.Free;
  end;
end;

Das lässt der Compiler nicht zu, da ReadBlock im ersten Parameter ein Char-Array erwartet, Result aber als AnsiString deklariert ist. Wie kann man das type-casten?

[himitsu]

Zitat:

Zitat von PeterPanino (Beitrag 1188231)

Wie kann man das type-casten?

Casten garnicht.



z.B. TEncoding

Oder, wenn die internen Daten bitkompatibel sind, dann "kopieren" (Move)

[PeterPanino]

Zitat:

Zitat von himitsu (Beitrag 1188233)

z.B. TEncoding

Ich erkenne leider nicht, wie man in dem obigen Beispiel mit TEncoding einen AnsiString in ein Char-Array umwandeln kann. Es geht ja darum, dass ReadBlock ein Char-Array erwartet, als Parameter aber nur ein AnsiString zur Verfügung steht.

[Aphton]

Hast du dir meine Variante angeschaut?

[Bummi]

was Shima meinte war wohl

Delphi-Quellcode:

len := SR.ReadBlock(@Result[1], 0, X);

Ich hatte eine identische Antwort fertig, habe sie aber nicht abgeschickt, da es bei mir nicht zuverlässig zum laufen kam, war abhängig vom Encoding der Datei und seltsamerweise auch vom Inhalt, irgendetwas an TStreamreader ist da etwas Voodoo.
Willst Du einen Binärvergleich fahren oder geht es nur um Textdateien (in einheitlicher Codierung) ?

[PeterPanino]

Zitat:

Zitat von Bummi (Beitrag 1188239)

was Shima meinte war wohl

Delphi-Quellcode:

len := SR.ReadBlock(@Result[1], 0, X);

Ich hatte eine identische Antwort fertig, habe sie aber nicht abgeschickt, da es bei mir nicht zuverlässig zum laufen kam, war abhängig vom Encoding der Datei und seltsamerweise auch vom Inhalt, irgendetwas an TStreamreader ist da etwas Voodoo.
Willst Du einen Binärvergleich fahren oder geht es nur um Textdateien (in einheitlicher Codierung) ?

Es geht nur um Textdateien, aber das Encoding kann je nach Anwendersystem wohl unterschiedlich sein. Ich werde mich deshalb nicht mit TStreamReader Voodoo herumschlagen, sondern mal die Variante von Aphton ausprobieren. Vielen Dank!

[Mavarik]

OK Leute...

OLD SCHOOL

Delphi-Quellcode:

Procedure Schnell;
Var
  Buffer  : array[0..99] of byte;
  F       : file;
  gelesen : Integer;
begin
  AssignFile(F,'Cool.txt');
  reset(F,1);
  Blockread(F,Buffer[0]),100,gelesen);
  Closefile(F);
  if gelesen = 100 then
   begin
     bla;
   end;
end;

Würde sagen NIX ist schneller!

Mavarik

[p80286]

Naja auch wenn ich diese Lösung (mit Stream) bevorzugen würde, so ganz richtig wäre sie nicht.
Die Aufgabenstellung lautet die ersten 100 Zeichen, und das sind unter XE ja wohl 16Bit Chars also ein

Delphi-Quellcode:

buffer : array[0..199] of Byte;

beim Auslesen müßte dann bestimmt werden ob es sich um eine 8 oder 16 Bit -Codierung handelt.
Aus den ersten 100 Zeichen im Ergebnis einen String zu machen, kann ja funktionieren aber ist auf jeden Fall riskant.

Gruß
K-H

[Sir Rufo]

Zitat:

Zitat von p80286 (Beitrag 1188334)

Die Aufgabenstellung lautet die ersten 100 Zeichen, und das sind unter XE ja wohl 16Bit Chars ...

Nee, das hat mit der Delphi-Version nichts zu tun, sondern wird von der vorliegenden Datei bestimmt ;)
Somit können die ersten 100 Zeichen mal 100 Bytes sein, mal 200 oder in Zukunft evtl. sogar noch mehr.

Problematisch ist die zuverlässige Erkennung, welche Codierung für die Textdatei verwendet wurde und kein BOM (in der Textdatei) existiert, dann muss man raten.