Problem mit Freisetzung von FileStream und Frage zum IdHTTP Datei Download

[Athris]

Guten Morgen,

anknüpfend an meinen Thema Threads habe ich nun eine Situation die für mich unverständlich ist. Ich bastel zurzeit an ein Programm welches Dateien aktualisiert. Die Aktualisierung und der Download findet in einem eigenen Thread statt. Im ersten Schritt hole ich mit die ContentLength der Datei im Web und die Größe der Datei (falls diese existiert) von der lokalen Datei. Ist die Größe unterschiedlich so wird die Datei an die Downloadmethode weitergeleitet. Die Downloadmethode löscht im ersten Schritt die lokale Datei (falls diese existiert) und beginnt dann mit dem Download. Den Download splitte ich in Chunks auf und lade dadurch immer Teilstücke.

Quellcode der DateiDownload Methode:

Delphi-Quellcode:

procedure TUpdateThread.DateiDownload(strUrl, strLocalFile:String);
var
  flgexit:Boolean;
  intLength, intRangeEnd, intStartLength: Int64;
  IdDateiDownload: TIdHTTP;
  fileDatei: TFileStream;
begin
  IdDateiDownload := TIdHTTP.Create(nil);
  fileDatei:=nil;
  try
    try
      IdDateiDownload.ConnectTimeout := 10000;
      IdDateiDownload.ReadTimeout := 10000;
      IdDateiDownload.Head(strUrl);
      intStartLength := 0;
      intLength := IdDateiDownload.Response.ContentLength;

      //Ermittel die Startgröße
      if FileExists(strLocalFile) then begin
        fstrProtText := 'Die '+strLocalFile+' Datei existiert bereits und wird nun gelöscht';
        fflgProtCaption := false;
        Synchronize(AddProt);
        DeleteFile(strLocalFile);
      end;

      //Setze die Progressbar
      fintProgressStartPosition := intStartLength;
      fintProgressMaxPosition := intLength;
      Synchronize(MainDownloadProgressBegin);

      fstrProtText := 'Lade die Datei '+ExtractFileName(strLocalFile)+' herunter';
      fflgProtCaption := true;
      Synchronize(AddProt);

      flgexit := false;

      //Prüfe ob Datei verwendet wird
      repeat
        fileDatei:=nil;
        if not FileExists(strLocalFile) then begin
          fileDatei := TFileStream.Create(strLocalFile, fmCreate);
        end
        else begin
          fileDatei := TFileStream.Create(strLocalFile, fmOpenReadWrite);
          flgexit := fileDatei.Size >= intLength;
          if not flgexit then
            fileDatei.Seek(Max(0, fileDatei.Size-4096), soFromBeginning);
        end;
        try
          intRangeEnd := fileDatei.Size+50000;

          if intRangeEnd < intLength then begin
            IdDateiDownload.Request.Range := IntToStr(fileDatei.Position) + '-'+ IntToStr(intRangeEnd);
          end
          else begin
            IdDateiDownload.Request.Range := IntToStr(fileDatei.Position) + '-';
            flgexit := true;
          end;
          IdDateiDownload.Get(strUrl, fileDatei);
        finally
          fileDatei.Free;
        end;
        if intRangeEnd < intLength then begin
          fintProgressPosition := intRangeEnd;
          Synchronize(MainDownloadProgressWork);
        end
        else begin
          fintProgressPosition := intLength;
          Synchronize(MainDownloadProgressWork);
        end;
      until (flgexit OR Terminated);
      IdDateiDownload.Disconnect;
    except
      on E : Exception do
      Begin
        MessageDlg('Bei dem Herunterladen von Dateien ist ein Fehler aufgetreten: '+E.Message, mtError, [mbOK], 0);
      end;
    end;
  finally
    IdDateiDownload.Free;
  end;
end;

Wie zu sehen ist wird bei einer existierenden Datei diese erst einmal gelöscht (um eventuell eine ältere, falsche oder nicht vollständig heruntergeladene Version der Datei zu entfernen. Im Anschluss daran erstelle ich einen Filestream und downloade den ersten Teil. Danach knüpfe ich an den bestehenden Filestream an und downloade das nächste Stück. Bis letztendlich die Datei vollständig heruntergeladen ist.

Nun zu meinem Problem:
Bei manchen Dateien kommt es vor das völlig willkürlich mitten im Downloadprozess der Quellcode in eine Exception läuft und die Exception Meldung folgendes mitteilt:
Fehler

Das tritt völlig willkürlich auf egal ob die Datei nur 8MB oder 1500MB groß ist. Beim debuggen erscheint die Meldung natürlich nicht (also wenn ich Schritt für Schritt durchgehe). Es wirkt so auf mich als ob nach einem Chunk Download die Datei nicht korrekt freigegeben wird. Ich sehe nur keine Stelle in meinem Quellcode wo dies der Fall sein könnte. Des Weiteren ist die Geschwindigkeit an sich unheimlich träge. Für 8 MB brauche ich z.B. knapp 20 Sekunden und dass bei knapp 1MB/s Downloadrate (getestet bei einem Direktdownload über Firefox).

Jetzt werden sich bestimmt einige Fragen: "Warum lädst du nicht die Datei an einem Stück runter?". Würde ich gerne, doch dann funktioniert meine Vergleichsmethode nicht mehr. Sobald ich z.B. eine 8 MB Datei Downloade und mitten im Downloadprozess schließe ich das Fenster, so liegt auf der Festplatte die Datei bereits mit 8 MB als Größenangabe, weil der Filestream direkt diese 8 MB reserviert. Dabei ist ab Zeile X einfach nur noch "Nichts" eingetragen, da der Download ja abgebrochen wurde. Beim nächsten Programmstart vergleiche ich die Größen und tada die Größen sind gleich, obwohl die lokale Datei defekt ist. Vielleicht hat hier jemand einen Lösungsansatz?

Ich stehe leider mit der Situation absolut auf dem Schlauch und würde mich sehr freuen falls mir jemand helfen kann :)

[Union]

Du lädst eine .exe herunter? Vielleicht schlägt der Virenscanner dort zu?

[TiGü]

Gibt es nur eine laufende Instanz von TUpdateThread oder mehrere?
Die treten sich dann natürlich auf die Füße, wenn mehrere Filestreams auf eine Datei zugreifen.

Hilfreich wäre es auch für uns, wenn du ein kurzes Testprojekt erstellst und hier gezippt anzuhängst.
So sehen wir schneller, woran es scheitert, anstatt mühsam Zeile für Zeile deine Methode zu durchdenken.
Abgesehen davon fehlen uns ja auch entscheidene Teile deiner Anwendung. Vielleicht ist der Fehler ganz woanderes.

[Athris]

Der Thread wird nur einmal im FormActivate der main.pas gestartet.

Virenscanner könnte natürlich sein, da das Problem bisher nur bei Exe Dateien aufgetreten ist wäre dies sehr wahrscheinlich. Nur kann ich den User wohl nicht dazu nötigen seinen Virenscanner zu deaktivieren :D

Ein Testprojekt kann ich leider nicht zur Verfügung stellen.

[TiGü]

Zitat:

Zitat von Athris (Beitrag 1314660)

Ein Testprojekt kann ich leider nicht zur Verfügung stellen.

Wieso nicht?
Einfach ein neues kleines Projekt mit einen Formular erstellen und da die Unit mit den Thread reinpfrimeln, bissel Komponenten draufgeklatscht (halt so ähnlich wie im richtigen Projekt) und fertig.
Keiner verlangt, dass du dein richtiges Projekt hochlädst.

[baumina]

Mach ne Zip-Datei und lad die runter, die ist zudem auch noch kleiner als so ne exe.

[Union]

Du könntest due Dateien zunächst unter einem anderen, temporären Namen speichern. Nach dem erfolgreichen Download benennst Du sie um. Damit erledigst Du beide Probleme (Virenscanner und unvollständige Downloads). Die meisten Browser machen es ähnlich.

[Athris]

Ich lade ja auch weitere Exe Dateien runter bei denen nichts passiert. Wäre die Variante den Download an einem Stück durchzuführen keine alternative? So hätte der Virenscanner doch kein Zugriff auf die Datei solang der Filestream offen ist, oder?

[Union]

Wie sieht denn der CallStack aus? Tritt der Fehler beim DeleteFile oder bei einem von den TFileStream.Create auf?

[TiGü]

Ich habe einen Verdacht!
Bitte starte deinen Thread nicht im OnActivate, sondern im OnCreate.

Also statt:

Delphi-Quellcode:

procedure TfrmMain.FormActivate(Sender: TObject);
var
  pntUpdateThread: TUpdateThread;
begin
  pntUpdateThread := TUpdateThread.Create(true);
  pntUpdateThread.FreeOnTerminate := True;
  pntUpdateThread.Resume;
end;

Delphi-Quellcode:

procedure TfrmMain.FormCreate(Sender: TObject);
var
  pntUpdateThread: TUpdateThread;
begin
  pntUpdateThread := TUpdateThread.Create(true);
  pntUpdateThread.FreeOnTerminate := True;
  pntUpdateThread.Start;
end;

Es kann nämlich durchaus sein, dass OnActivate mehrfach aufgerufen wird, das startet deinen Thread neu und ruckzuck gibt es zwei oder mehr Instanzen von deinen Thread, die alle auf das gleiche Dateihandle rummachen wollen.

[Sir Rufo]

Ich würde einfach mal den FileStream so erzeugen

Delphi-Quellcode:

fileDatei := TFileStream.Create( 
  strLocalFile, 
  fmCreate or fmOpenReadWrite, 
  fmShareExclusive  );

Dann kann dort auch niemand mehr hineinpfuschen ...

[TiGü]

Zitat:

Zitat von Sir Rufo (Beitrag 1314670)

Ich würde einfach mal den FileStream so erzeugen

Delphi-Quellcode:

fileDatei := TFileStream.Create( 
  strLocalFile, 
  fmCreate or fmOpenReadWrite, 
  fmShareExclusive  );

Dann kann dort auch niemand mehr hineinpfuschen ...

Das stimmt aber nicht, wenn es der gleiche Prozess ist.
Zum Beispiel wenn versehentlich der Thread zweimal gestartet wird.

[Athris]

Hab den Thread Start ins FormCreate verschoben und gleichzeitig den FileStream um das fmShareExclusive erweitert. Fehler taucht weiterhin auf.

Beim DeleteFile dürfte die Meldung nicht auftreten, da dieses nur ein einziges mal aufgerufen wird. Die Meldung kommt aber während des Downloads, also während den Durchlauf im Repeat Bereich. Ich denke eher dass es am FileStream also konrekt hier dran liegt:

Delphi-Quellcode:

        if not FileExists(strLocalFile) then begin
          fileDatei := TFileStream.Create(strLocalFile, fmCreate, fmShareExclusive );
        end
        else begin
          fileDatei := TFileStream.Create(strLocalFile, fmOpenReadWrite, fmShareExclusive );
          flgexit := fileDatei.Size >= intLength;
          if not flgexit then
            fileDatei.Seek(Max(0, fileDatei.Size-4096), soFromBeginning);
        end;

[Athris]

Kurzer Nachtrag:
Virenscanner ist es definitiv nicht. Habe das Programm gerade auf einem nackten Server ausgeführt und die Meldung tritt immer noch auf. Ich habe irgendwie das Gefühl dass der unter bestimmten Umständen die Datei nicht korrekt schließt und beim nächsten Durchgang wo er das nächste Teilstück herunterladen möchte, die Datei nicht öffnen kann.

[frankyboy1974]

hallo,

ich verstehe nicht warum dieser code

Delphi-Quellcode:

fileDatei:=nil;
if not FileExists(strLocalFile) then begin
 fileDatei := TFileStream.Create(strLocalFile, fmCreate);
end else begin
   fileDatei := TFileStream.Create(strLocalFile, fmOpenReadWrite);

innerhalb der Schleife steht (oder wie auch immer du das mittlerweilen geändert hast). Würde es nicht reichen, wenn du einmal überprüfst, ob die Datei bereits vorhanden ist?

mfg

[Athris]

Wenn das Programm das erste mal startet und der das erste mal in die Schleife reinläuft dann existiert die Datei nicht und der Filestream erstellt eine neue leere Dateihülle die im Anschluss mit 50000 Bytes gefüllt wird. Dann ist der erste Teil der Datei abgeschlossen und es geht wieder von vorne los. Nun haben wir ja bereits ein Teilstück der Datei, deswegen wird die vorhandene Datei geöffnet und an das Ende angesetzt. Das Programm lädt nun die nächsten 50000 Bytes. Das ganze geht dann solange bis die Datei komplett auf der Festplatte ist.

Wiegesagt ich würde auch gerne die Datei in einem Rutsch herunterladen. Dann habe ich aber das Problem, dass die wenn der Downloadprozess irgendwie unterbrochen wird, auf der Festplatte diese "halb gedownloadete" Datei liegt. Dieses Fragment hat aber bereits die volle Größe erhalten.
Beispiel:
Heruntergeladen wird eine 10MB Datei.
Filestream erstellt die Hülle mit Größe 0.
IdHTTP holt sich die 10MB Datei aus dem Internet und setzt damit die Größe der Hülle auf 10MB.
Während des Downloads schmiert der Rechner ab. Bisher wurden 6,5 MB heruntergeladen.
Beim nächsten Start prüft das Programm die lokale Dateigröße gegen die Webgröße. Beide sind identisch, da die lokale Dateihülle 10 MB hat, obwohl die Datei noch gr nicht voll heruntergeladen wurde.

[nahpets]

Bin mal ein bisserl naiv, weil ich's nicht so recht verstehe.
Auf die Datei zugegriffen wird doch eigentlich (hauptsächlich) hier:

Delphi-Quellcode:

        IdDateiDownload.Get(strUrl, fileDatei);
        finally
          fileDatei.Free;

Get schreibt und bei Free wird zugemacht. Passiert das eventuell zu schnell? Mach doch bitte mal (probehalber) hinter das

Delphi-Quellcode:

IdDateiDownload.Get(strUrl, fileDatei);

noch ein

Delphi-Quellcode:

Sleep(1000)

. Außer, dass es langsamer wird, ändert sich dann was?
(Frei nach dem Motto: Beim Debuggen passiert es nicht, weil Du da zwangsläufig langsamer bist?)
Zugegebenermaßen ist mein Gedankengang etwas schräg, denn es würde ja bedeuten, dass das id.Get noch nicht mit dem Schreiben fertig ist, während die Datei bereits geschlossen wurde, was in dem Fall aber nicht funktionieren kann.

Alternative Fehlermöglichkeit:

Die Datei wird im free geschlossen. Das Betriebssystem hat also ein bisserl was zu tuen.
In der Schleife geht es aber am Anfang schon munter weiter, die Datei ist da und soll zum Schreiben geöffnet werden, aber das Betriebssystem hat sie noch "zwischen".

Daher bitte mal hier ändern:

Delphi-Quellcode:

       if not FileExists(strLocalFile) then begin
          fileDatei := TFileStream.Create(strLocalFile, fmCreate);
        end
        else begin
          fileDatei := TFileStream.Create(strLocalFile, fmOpenReadWrite);
          flgexit := fileDatei.Size >= intLength;
          if not flgexit then
            fileDatei.Seek(Max(0, fileDatei.Size-4096), soFromBeginning);
        end;

in

Delphi-Quellcode:

       if not FileExists(strLocalFile) then begin
          fileDatei := TFileStream.Create(strLocalFile, fmCreate);
        end
        else begin
          try
            fileDatei := TFileStream.Create(strLocalFile, fmOpenReadWrite);
          except
            on e : Exception do begin
              ShowMessage(Format('Upps, hier tritt der Fehler auf: %s',[e.Message]);
            end;
          end;
          flgexit := fileDatei.Size >= intLength;
          if not flgexit then
            fileDatei.Seek(Max(0, fileDatei.Size-4096), soFromBeginning);
        end;

Kommt diese Fehlermeldung, dann bau (erstmal) um das TFileStream.Create eine Schleife, in der Du, mit kurzer Pause, 3 (oder so ähnlich) Versuche machst, die Datei zu öffnen. Sowas in der Art:

Delphi-Quellcode:

       if not FileExists(strLocalFile) then begin
          fileDatei := TFileStream.Create(strLocalFile, fmCreate);
        end
        else begin
          for i := 1 to 3 do begin
            try
              fileDatei := TFileStream.Create(strLocalFile, fmOpenReadWrite);
              break;
            except
              on e : Exception do begin
                if i = 3 then Raise else Sleep(1000);
              end;
            end;
          end;
          flgexit := fileDatei.Size >= intLength;
          if not flgexit then
            fileDatei.Seek(Max(0, fileDatei.Size-4096), soFromBeginning);
        end;

Im Zweifelsfalle baue bitte in die Routine mehr Try-Except-Blöcke ein, um die exakte Fehlerstelle zu finden. So ist das doch eher wie mit der :glaskugel:

@frankyboy1974, der Code dürfte innerhalb der Schleife sein, weil das fmCreate nur beim ersten Mal erforderlich ist und dann immer fmOpenReadWrite. Man muss aber irgendwo die Entscheidung treffen und das erscheint mir eine sinnvolle Stelle zu sein.

Alternativ könnte man natürlich auch vor der Schleife prüfen, ob die Datei vorhanden ist, wenn nein, erstellt man eine leere Datei und schließt sie.
In dem Fall kann man dann innerhalb der Schleife davon ausgehen, dass sie immer da ist und spart sich
innerhalb der Schleife des "ewige"

Delphi-Quellcode:

if not FileExists(strLocalFile) then begin

. Also ungefähr so:

Delphi-Quellcode:

        fileDatei:=nil;
        if not FileExists(strLocalFile) then begin
          fileDatei := TFileStream.Create(strLocalFile, fmCreate);
          fileDatei.Free;
        end;

    fileDatei:=nil;
    repeat
       fileDatei := TFileStream.Create(strLocalFile, fmOpenReadWrite);
       flgexit := fileDatei.Size >= intLength;
       if not flgexit then
          fileDatei.Seek(Max(0, fileDatei.Size-4096), soFromBeginning);
       end;

[frankyboy1974]

hallo,

wenn ich in einer fussgesteuert Schleife einmal eine Entscheidung treffen muss, tue ich das vorher. Ich würde vermuten, er gibt die Datei zwar frei, dies dauert aber unter Umständen zu lange, und beim nächsten Reservieren läuft das ggf. Programm in einen Fehler. Wenn er nun nur einmal das Handle (vor der Schleife) auf die Datei holt, funktioniert es.


mfg

[nahpets]

Zitat:

Zitat von frankyboy1974 (Beitrag 1314717)

hallo,

wenn ich in einer fussgesteuert Schleife einmal eine Entscheidung treffen muss, tue ich das vorher. Ich würde vermuten, er gibt die Datei zwar frei, dies dauert aber unter Umständen zu lange, und beim nächsten Reservieren läuft das ggf. Programm in einen Fehler. Wenn er nun nur einmal das Handle (vor der Schleife) auf die Datei holt, funktioniert es.


mfg

Jo, dem is nix hinzuzufügen.
Du meinst also in etwas so:

Delphi-Quellcode:

procedure TUpdateThread.DateiDownload(strUrl, strLocalFile:String);
var
  flgexit:Boolean;
  intLength, intRangeEnd, intStartLength: Int64;
  IdDateiDownload: TIdHTTP;
  fileDatei: TFileStream;
begin
  IdDateiDownload := TIdHTTP.Create(nil);
  fileDatei:=nil;
  try
    try
      IdDateiDownload.ConnectTimeout := 10000;
      IdDateiDownload.ReadTimeout := 10000;
      IdDateiDownload.Head(strUrl);
      intStartLength := 0;
      intLength := IdDateiDownload.Response.ContentLength;

      //Ermittel die Startgröße
      if FileExists(strLocalFile) then begin
        fstrProtText := 'Die '+strLocalFile+' Datei existiert bereits und wird nun gelöscht';
        fflgProtCaption := false;
        Synchronize(AddProt);
        DeleteFile(strLocalFile);
      end;

      //Setze die Progressbar
      fintProgressStartPosition := intStartLength;
      fintProgressMaxPosition := intLength;
      Synchronize(MainDownloadProgressBegin);

      fstrProtText := 'Lade die Datei '+ExtractFileName(strLocalFile)+' herunter';
      fflgProtCaption := true;
      Synchronize(AddProt);

      flgexit := false;

      fileDatei:=nil;
      if not FileExists(strLocalFile) then begin
        fileDatei := TFileStream.Create(strLocalFile, fmCreate);
      end
      else begin
        fileDatei := TFileStream.Create(strLocalFile, fmOpenReadWrite);
      end;

      //Prüfe ob Datei verwendet wird
      repeat
        flgexit := fileDatei.Size >= intLength;
        if not flgexit then
          fileDatei.Seek(Max(0, fileDatei.Size-4096), soFromBeginning);
          intRangeEnd := fileDatei.Size+50000;

          if intRangeEnd < intLength then begin
            IdDateiDownload.Request.Range := IntToStr(fileDatei.Position) + '-'+ IntToStr(intRangeEnd);
          end
          else begin
            IdDateiDownload.Request.Range := IntToStr(fileDatei.Position) + '-';
            flgexit := true;
          end;
          IdDateiDownload.Get(strUrl, fileDatei);
        if intRangeEnd < intLength then begin
          fintProgressPosition := intRangeEnd;
          Synchronize(MainDownloadProgressWork);
        end
        else begin
          fintProgressPosition := intLength;
          Synchronize(MainDownloadProgressWork);
        end;
      until (flgexit OR Terminated);
      fileDatei.Free;
      IdDateiDownload.Disconnect;
    except
      on E : Exception do
      Begin
        MessageDlg('Bei dem Herunterladen von Dateien ist ein Fehler aufgetreten: '+E.Message, mtError, [mbOK], 0);
      end;
    end;
  finally
    IdDateiDownload.Free;
  end;
end;

Wäre eindeutig eleganter.

[frankyboy1974]

hallo,

jupp:thumb: ich habs nicht ausprobiert, aber so könnte ich damit leben und ich würde vermuten, es funktioniert.

mfg

[Athris]

Erst einmal vielen Dank für die Antworten.

Wie bereits vermutet trat die Exception im FileStream Bereich auf. Durchd as Sleep trat der Fehler bei über 5 Versuchen kein einziges mal auf, dementsprechend ist die Theorie dass er da irgendwie zu schnell ist, gar nicht so falsch. Ich habe das Sleep jetzt wieder rausgenommen und pauschal vor dem Repeat das fileDatei := TFileStream.Create(strLocalFile, fmCreate); gesetzt. Das FileExist und den Else Zweig brauche ich ja nicht mehr. Sieht bisher super aus!

Eine allgemeine Frage habe ich aber noch. Ich hatte ja bereits ein paar Beiträge vorher mal die Idee in den Raum gebracht ohne Schleife zu arbeiten und so die Datei in einem Stück runterzuladen. Gibt es da eine Variante vor der FileStream nicht bereits die gesamte ContentLength annimmt?

[nahpets]

Du gibst mit

Delphi-Quellcode:

IdDateiDownload.Request.Range := IntToStr(fileDatei.Position) + '-'+ IntToStr(intRangeEnd);

an, von wo bis wo geladen werden soll.
Ist intRangeEnd nun z. B. 10.000.000, so wird innerhalb des Gets dieser Wert als Size des übergebenen Stream gesetzt und damit wird die Datei so groß, auch wenn noch kein Byte geladen wurde. Wenn Du die Datei ohne diesen Wert erstellst (Request.Range also wegläßt), sollte die Datei mit dem Download des Inhaltes wachsen. Bei einem Abbruch müsste sie dann die Größe haben, die den geladenen Bytes entspricht.
Vermutlich könntest Du dann bei einem unvollständigen Download mit dem bereits genutzten

Delphi-Quellcode:

IdDateiDownload.Request.Range := IntToStr(fileDatei.Position) + '-';

für das "Dateiende" an der "Abbruchkante" wieder ansetzen. Zumindest dürfte das einen Versuch wert sein.