![]() |
Delphi-Version: XE2
Problem mit Freisetzung von FileStream und Frage zum IdHTTP Datei Download
Liste der Anhänge anzeigen (Anzahl: 1)
Guten Morgen,
anknüpfend an meinen Thema Threads habe ich nun eine Situation die für mich unverständlich ist. Ich bastel zurzeit an ein Programm welches Dateien aktualisiert. Die Aktualisierung und der Download findet in einem eigenen Thread statt. Im ersten Schritt hole ich mit die ContentLength der Datei im Web und die Größe der Datei (falls diese existiert) von der lokalen Datei. Ist die Größe unterschiedlich so wird die Datei an die Downloadmethode weitergeleitet. Die Downloadmethode löscht im ersten Schritt die lokale Datei (falls diese existiert) und beginnt dann mit dem Download. Den Download splitte ich in Chunks auf und lade dadurch immer Teilstücke. Quellcode der DateiDownload Methode:
Delphi-Quellcode:
Wie zu sehen ist wird bei einer existierenden Datei diese erst einmal gelöscht (um eventuell eine ältere, falsche oder nicht vollständig heruntergeladene Version der Datei zu entfernen. Im Anschluss daran erstelle ich einen Filestream und downloade den ersten Teil. Danach knüpfe ich an den bestehenden Filestream an und downloade das nächste Stück. Bis letztendlich die Datei vollständig heruntergeladen ist.
procedure TUpdateThread.DateiDownload(strUrl, strLocalFile:String);
var flgexit:Boolean; intLength, intRangeEnd, intStartLength: Int64; IdDateiDownload: TIdHTTP; fileDatei: TFileStream; begin IdDateiDownload := TIdHTTP.Create(nil); fileDatei:=nil; try try IdDateiDownload.ConnectTimeout := 10000; IdDateiDownload.ReadTimeout := 10000; IdDateiDownload.Head(strUrl); intStartLength := 0; intLength := IdDateiDownload.Response.ContentLength; //Ermittel die Startgröße if FileExists(strLocalFile) then begin fstrProtText := 'Die '+strLocalFile+' Datei existiert bereits und wird nun gelöscht'; fflgProtCaption := false; Synchronize(AddProt); DeleteFile(strLocalFile); end; //Setze die Progressbar fintProgressStartPosition := intStartLength; fintProgressMaxPosition := intLength; Synchronize(MainDownloadProgressBegin); fstrProtText := 'Lade die Datei '+ExtractFileName(strLocalFile)+' herunter'; fflgProtCaption := true; Synchronize(AddProt); flgexit := false; //Prüfe ob Datei verwendet wird repeat fileDatei:=nil; if not FileExists(strLocalFile) then begin fileDatei := TFileStream.Create(strLocalFile, fmCreate); end else begin fileDatei := TFileStream.Create(strLocalFile, fmOpenReadWrite); flgexit := fileDatei.Size >= intLength; if not flgexit then fileDatei.Seek(Max(0, fileDatei.Size-4096), soFromBeginning); end; try intRangeEnd := fileDatei.Size+50000; if intRangeEnd < intLength then begin IdDateiDownload.Request.Range := IntToStr(fileDatei.Position) + '-'+ IntToStr(intRangeEnd); end else begin IdDateiDownload.Request.Range := IntToStr(fileDatei.Position) + '-'; flgexit := true; end; IdDateiDownload.Get(strUrl, fileDatei); finally fileDatei.Free; end; if intRangeEnd < intLength then begin fintProgressPosition := intRangeEnd; Synchronize(MainDownloadProgressWork); end else begin fintProgressPosition := intLength; Synchronize(MainDownloadProgressWork); end; until (flgexit OR Terminated); IdDateiDownload.Disconnect; except on E : Exception do Begin MessageDlg('Bei dem Herunterladen von Dateien ist ein Fehler aufgetreten: '+E.Message, mtError, [mbOK], 0); end; end; finally IdDateiDownload.Free; end; end; Nun zu meinem Problem: Bei manchen Dateien kommt es vor das völlig willkürlich mitten im Downloadprozess der Quellcode in eine Exception läuft und die Exception Meldung folgendes mitteilt: ![]() Das tritt völlig willkürlich auf egal ob die Datei nur 8MB oder 1500MB groß ist. Beim debuggen erscheint die Meldung natürlich nicht (also wenn ich Schritt für Schritt durchgehe). Es wirkt so auf mich als ob nach einem Chunk Download die Datei nicht korrekt freigegeben wird. Ich sehe nur keine Stelle in meinem Quellcode wo dies der Fall sein könnte. Des Weiteren ist die Geschwindigkeit an sich unheimlich träge. Für 8 MB brauche ich z.B. knapp 20 Sekunden und dass bei knapp 1MB/s Downloadrate (getestet bei einem Direktdownload über Firefox). Jetzt werden sich bestimmt einige Fragen: "Warum lädst du nicht die Datei an einem Stück runter?". Würde ich gerne, doch dann funktioniert meine Vergleichsmethode nicht mehr. Sobald ich z.B. eine 8 MB Datei Downloade und mitten im Downloadprozess schließe ich das Fenster, so liegt auf der Festplatte die Datei bereits mit 8 MB als Größenangabe, weil der Filestream direkt diese 8 MB reserviert. Dabei ist ab Zeile X einfach nur noch "Nichts" eingetragen, da der Download ja abgebrochen wurde. Beim nächsten Programmstart vergleiche ich die Größen und tada die Größen sind gleich, obwohl die lokale Datei defekt ist. Vielleicht hat hier jemand einen Lösungsansatz? Ich stehe leider mit der Situation absolut auf dem Schlauch und würde mich sehr freuen falls mir jemand helfen kann :) |
AW: Problem mit Freisetzung von FileStream und Frage zum IdHTTP Datei Download
Du lädst eine .exe herunter? Vielleicht schlägt der Virenscanner dort zu?
|
AW: Problem mit Freisetzung von FileStream und Frage zum IdHTTP Datei Download
Gibt es nur eine laufende Instanz von TUpdateThread oder mehrere?
Die treten sich dann natürlich auf die Füße, wenn mehrere Filestreams auf eine Datei zugreifen. Hilfreich wäre es auch für uns, wenn du ein kurzes Testprojekt erstellst und hier gezippt anzuhängst. So sehen wir schneller, woran es scheitert, anstatt mühsam Zeile für Zeile deine Methode zu durchdenken. Abgesehen davon fehlen uns ja auch entscheidene Teile deiner Anwendung. Vielleicht ist der Fehler ganz woanderes. |
AW: Problem mit Freisetzung von FileStream und Frage zum IdHTTP Datei Download
Der Thread wird nur einmal im FormActivate der main.pas gestartet.
Virenscanner könnte natürlich sein, da das Problem bisher nur bei Exe Dateien aufgetreten ist wäre dies sehr wahrscheinlich. Nur kann ich den User wohl nicht dazu nötigen seinen Virenscanner zu deaktivieren :D Ein Testprojekt kann ich leider nicht zur Verfügung stellen. |
AW: Problem mit Freisetzung von FileStream und Frage zum IdHTTP Datei Download
Zitat:
Einfach ein neues kleines Projekt mit einen Formular erstellen und da die Unit mit den Thread reinpfrimeln, bissel Komponenten draufgeklatscht (halt so ähnlich wie im richtigen Projekt) und fertig. Keiner verlangt, dass du dein richtiges Projekt hochlädst. |
AW: Problem mit Freisetzung von FileStream und Frage zum IdHTTP Datei Download
Mach ne Zip-Datei und lad die runter, die ist zudem auch noch kleiner als so ne exe.
|
AW: Problem mit Freisetzung von FileStream und Frage zum IdHTTP Datei Download
Du könntest due Dateien zunächst unter einem anderen, temporären Namen speichern. Nach dem erfolgreichen Download benennst Du sie um. Damit erledigst Du beide Probleme (Virenscanner und unvollständige Downloads). Die meisten Browser machen es ähnlich.
|
AW: Problem mit Freisetzung von FileStream und Frage zum IdHTTP Datei Download
Ich lade ja auch weitere Exe Dateien runter bei denen nichts passiert. Wäre die Variante den Download an einem Stück durchzuführen keine alternative? So hätte der Virenscanner doch kein Zugriff auf die Datei solang der Filestream offen ist, oder?
|
AW: Problem mit Freisetzung von FileStream und Frage zum IdHTTP Datei Download
Wie sieht denn der CallStack aus? Tritt der Fehler beim DeleteFile oder bei einem von den TFileStream.Create auf?
|
AW: Problem mit Freisetzung von FileStream und Frage zum IdHTTP Datei Download
Ich habe einen Verdacht!
Bitte starte deinen Thread nicht im OnActivate, sondern im OnCreate. Also statt:
Delphi-Quellcode:
procedure TfrmMain.FormActivate(Sender: TObject);
var pntUpdateThread: TUpdateThread; begin pntUpdateThread := TUpdateThread.Create(true); pntUpdateThread.FreeOnTerminate := True; pntUpdateThread.Resume; end;
Delphi-Quellcode:
Es kann nämlich durchaus sein, dass OnActivate mehrfach aufgerufen wird, das startet deinen Thread neu und ruckzuck gibt es zwei oder mehr Instanzen von deinen Thread, die alle auf das gleiche Dateihandle rummachen wollen.
procedure TfrmMain.FormCreate(Sender: TObject);
var pntUpdateThread: TUpdateThread; begin pntUpdateThread := TUpdateThread.Create(true); pntUpdateThread.FreeOnTerminate := True; pntUpdateThread.Start; end; |
AW: Problem mit Freisetzung von FileStream und Frage zum IdHTTP Datei Download
Ich würde einfach mal den FileStream so erzeugen
Delphi-Quellcode:
Dann kann dort auch niemand mehr hineinpfuschen ...
fileDatei := TFileStream.Create(
strLocalFile, fmCreate or fmOpenReadWrite, fmShareExclusive ); |
AW: Problem mit Freisetzung von FileStream und Frage zum IdHTTP Datei Download
Zitat:
Zum Beispiel wenn versehentlich der Thread zweimal gestartet wird. |
AW: Problem mit Freisetzung von FileStream und Frage zum IdHTTP Datei Download
Hab den Thread Start ins FormCreate verschoben und gleichzeitig den FileStream um das fmShareExclusive erweitert. Fehler taucht weiterhin auf.
Beim DeleteFile dürfte die Meldung nicht auftreten, da dieses nur ein einziges mal aufgerufen wird. Die Meldung kommt aber während des Downloads, also während den Durchlauf im Repeat Bereich. Ich denke eher dass es am FileStream also konrekt hier dran liegt:
Delphi-Quellcode:
if not FileExists(strLocalFile) then begin
fileDatei := TFileStream.Create(strLocalFile, fmCreate, fmShareExclusive ); end else begin fileDatei := TFileStream.Create(strLocalFile, fmOpenReadWrite, fmShareExclusive ); flgexit := fileDatei.Size >= intLength; if not flgexit then fileDatei.Seek(Max(0, fileDatei.Size-4096), soFromBeginning); end; |
AW: Problem mit Freisetzung von FileStream und Frage zum IdHTTP Datei Download
Kurzer Nachtrag:
Virenscanner ist es definitiv nicht. Habe das Programm gerade auf einem nackten Server ausgeführt und die Meldung tritt immer noch auf. Ich habe irgendwie das Gefühl dass der unter bestimmten Umständen die Datei nicht korrekt schließt und beim nächsten Durchgang wo er das nächste Teilstück herunterladen möchte, die Datei nicht öffnen kann. |
AW: Problem mit Freisetzung von FileStream und Frage zum IdHTTP Datei Download
hallo,
ich verstehe nicht warum dieser code
Delphi-Quellcode:
innerhalb der Schleife steht (oder wie auch immer du das mittlerweilen geändert hast). Würde es nicht reichen, wenn du einmal überprüfst, ob die Datei bereits vorhanden ist?
fileDatei:=nil;
if not FileExists(strLocalFile) then begin fileDatei := TFileStream.Create(strLocalFile, fmCreate); end else begin fileDatei := TFileStream.Create(strLocalFile, fmOpenReadWrite); mfg |
AW: Problem mit Freisetzung von FileStream und Frage zum IdHTTP Datei Download
Wenn das Programm das erste mal startet und der das erste mal in die Schleife reinläuft dann existiert die Datei nicht und der Filestream erstellt eine neue leere Dateihülle die im Anschluss mit 50000 Bytes gefüllt wird. Dann ist der erste Teil der Datei abgeschlossen und es geht wieder von vorne los. Nun haben wir ja bereits ein Teilstück der Datei, deswegen wird die vorhandene Datei geöffnet und an das Ende angesetzt. Das Programm lädt nun die nächsten 50000 Bytes. Das ganze geht dann solange bis die Datei komplett auf der Festplatte ist.
Wiegesagt ich würde auch gerne die Datei in einem Rutsch herunterladen. Dann habe ich aber das Problem, dass die wenn der Downloadprozess irgendwie unterbrochen wird, auf der Festplatte diese "halb gedownloadete" Datei liegt. Dieses Fragment hat aber bereits die volle Größe erhalten. Beispiel: Heruntergeladen wird eine 10MB Datei. Filestream erstellt die Hülle mit Größe 0. IdHTTP holt sich die 10MB Datei aus dem Internet und setzt damit die Größe der Hülle auf 10MB. Während des Downloads schmiert der Rechner ab. Bisher wurden 6,5 MB heruntergeladen. Beim nächsten Start prüft das Programm die lokale Dateigröße gegen die Webgröße. Beide sind identisch, da die lokale Dateihülle 10 MB hat, obwohl die Datei noch gr nicht voll heruntergeladen wurde. |
AW: Problem mit Freisetzung von FileStream und Frage zum IdHTTP Datei Download
Bin mal ein bisserl naiv, weil ich's nicht so recht verstehe.
Auf die Datei zugegriffen wird doch eigentlich (hauptsächlich) hier:
Delphi-Quellcode:
Get schreibt und bei Free wird zugemacht. Passiert das eventuell zu schnell? Mach doch bitte mal (probehalber) hinter das
IdDateiDownload.Get(strUrl, fileDatei);
finally fileDatei.Free;
Delphi-Quellcode:
noch ein
IdDateiDownload.Get(strUrl, fileDatei);
Delphi-Quellcode:
. Außer, dass es langsamer wird, ändert sich dann was?
Sleep(1000)
(Frei nach dem Motto: Beim Debuggen passiert es nicht, weil Du da zwangsläufig langsamer bist?) Zugegebenermaßen ist mein Gedankengang etwas schräg, denn es würde ja bedeuten, dass das id.Get noch nicht mit dem Schreiben fertig ist, während die Datei bereits geschlossen wurde, was in dem Fall aber nicht funktionieren kann. Alternative Fehlermöglichkeit: Die Datei wird im free geschlossen. Das Betriebssystem hat also ein bisserl was zu tuen. In der Schleife geht es aber am Anfang schon munter weiter, die Datei ist da und soll zum Schreiben geöffnet werden, aber das Betriebssystem hat sie noch "zwischen". Daher bitte mal hier ändern:
Delphi-Quellcode:
in
if not FileExists(strLocalFile) then begin
fileDatei := TFileStream.Create(strLocalFile, fmCreate); end else begin fileDatei := TFileStream.Create(strLocalFile, fmOpenReadWrite); flgexit := fileDatei.Size >= intLength; if not flgexit then fileDatei.Seek(Max(0, fileDatei.Size-4096), soFromBeginning); end;
Delphi-Quellcode:
Kommt diese Fehlermeldung, dann bau (erstmal) um das TFileStream.Create eine Schleife, in der Du, mit kurzer Pause, 3 (oder so ähnlich) Versuche machst, die Datei zu öffnen. Sowas in der Art:
if not FileExists(strLocalFile) then begin
fileDatei := TFileStream.Create(strLocalFile, fmCreate); end else begin try fileDatei := TFileStream.Create(strLocalFile, fmOpenReadWrite); except on e : Exception do begin ShowMessage(Format('Upps, hier tritt der Fehler auf: %s',[e.Message]); end; end; flgexit := fileDatei.Size >= intLength; if not flgexit then fileDatei.Seek(Max(0, fileDatei.Size-4096), soFromBeginning); end;
Delphi-Quellcode:
Im Zweifelsfalle baue bitte in die Routine mehr Try-Except-Blöcke ein, um die exakte Fehlerstelle zu finden. So ist das doch eher wie mit der :glaskugel:
if not FileExists(strLocalFile) then begin
fileDatei := TFileStream.Create(strLocalFile, fmCreate); end else begin for i := 1 to 3 do begin try fileDatei := TFileStream.Create(strLocalFile, fmOpenReadWrite); break; except on e : Exception do begin if i = 3 then Raise else Sleep(1000); end; end; end; flgexit := fileDatei.Size >= intLength; if not flgexit then fileDatei.Seek(Max(0, fileDatei.Size-4096), soFromBeginning); end; @frankyboy1974, der Code dürfte innerhalb der Schleife sein, weil das fmCreate nur beim ersten Mal erforderlich ist und dann immer fmOpenReadWrite. Man muss aber irgendwo die Entscheidung treffen und das erscheint mir eine sinnvolle Stelle zu sein. Alternativ könnte man natürlich auch vor der Schleife prüfen, ob die Datei vorhanden ist, wenn nein, erstellt man eine leere Datei und schließt sie. In dem Fall kann man dann innerhalb der Schleife davon ausgehen, dass sie immer da ist und spart sich innerhalb der Schleife des "ewige"
Delphi-Quellcode:
. Also ungefähr so:
if not FileExists(strLocalFile) then begin
Delphi-Quellcode:
fileDatei:=nil;
if not FileExists(strLocalFile) then begin fileDatei := TFileStream.Create(strLocalFile, fmCreate); fileDatei.Free; end; fileDatei:=nil; repeat fileDatei := TFileStream.Create(strLocalFile, fmOpenReadWrite); flgexit := fileDatei.Size >= intLength; if not flgexit then fileDatei.Seek(Max(0, fileDatei.Size-4096), soFromBeginning); end; |
AW: Problem mit Freisetzung von FileStream und Frage zum IdHTTP Datei Download
hallo,
wenn ich in einer fussgesteuert Schleife einmal eine Entscheidung treffen muss, tue ich das vorher. Ich würde vermuten, er gibt die Datei zwar frei, dies dauert aber unter Umständen zu lange, und beim nächsten Reservieren läuft das ggf. Programm in einen Fehler. Wenn er nun nur einmal das Handle (vor der Schleife) auf die Datei holt, funktioniert es. mfg |
AW: Problem mit Freisetzung von FileStream und Frage zum IdHTTP Datei Download
Zitat:
Du meinst also in etwas so:
Delphi-Quellcode:
Wäre eindeutig eleganter.
procedure TUpdateThread.DateiDownload(strUrl, strLocalFile:String);
var flgexit:Boolean; intLength, intRangeEnd, intStartLength: Int64; IdDateiDownload: TIdHTTP; fileDatei: TFileStream; begin IdDateiDownload := TIdHTTP.Create(nil); fileDatei:=nil; try try IdDateiDownload.ConnectTimeout := 10000; IdDateiDownload.ReadTimeout := 10000; IdDateiDownload.Head(strUrl); intStartLength := 0; intLength := IdDateiDownload.Response.ContentLength; //Ermittel die Startgröße if FileExists(strLocalFile) then begin fstrProtText := 'Die '+strLocalFile+' Datei existiert bereits und wird nun gelöscht'; fflgProtCaption := false; Synchronize(AddProt); DeleteFile(strLocalFile); end; //Setze die Progressbar fintProgressStartPosition := intStartLength; fintProgressMaxPosition := intLength; Synchronize(MainDownloadProgressBegin); fstrProtText := 'Lade die Datei '+ExtractFileName(strLocalFile)+' herunter'; fflgProtCaption := true; Synchronize(AddProt); flgexit := false; fileDatei:=nil; if not FileExists(strLocalFile) then begin fileDatei := TFileStream.Create(strLocalFile, fmCreate); end else begin fileDatei := TFileStream.Create(strLocalFile, fmOpenReadWrite); end; //Prüfe ob Datei verwendet wird repeat flgexit := fileDatei.Size >= intLength; if not flgexit then fileDatei.Seek(Max(0, fileDatei.Size-4096), soFromBeginning); intRangeEnd := fileDatei.Size+50000; if intRangeEnd < intLength then begin IdDateiDownload.Request.Range := IntToStr(fileDatei.Position) + '-'+ IntToStr(intRangeEnd); end else begin IdDateiDownload.Request.Range := IntToStr(fileDatei.Position) + '-'; flgexit := true; end; IdDateiDownload.Get(strUrl, fileDatei); if intRangeEnd < intLength then begin fintProgressPosition := intRangeEnd; Synchronize(MainDownloadProgressWork); end else begin fintProgressPosition := intLength; Synchronize(MainDownloadProgressWork); end; until (flgexit OR Terminated); fileDatei.Free; IdDateiDownload.Disconnect; except on E : Exception do Begin MessageDlg('Bei dem Herunterladen von Dateien ist ein Fehler aufgetreten: '+E.Message, mtError, [mbOK], 0); end; end; finally IdDateiDownload.Free; end; end; |
AW: Problem mit Freisetzung von FileStream und Frage zum IdHTTP Datei Download
hallo,
jupp:thumb: ich habs nicht ausprobiert, aber so könnte ich damit leben und ich würde vermuten, es funktioniert. mfg |
AW: Problem mit Freisetzung von FileStream und Frage zum IdHTTP Datei Download
Erst einmal vielen Dank für die Antworten.
Wie bereits vermutet trat die Exception im FileStream Bereich auf. Durchd as Sleep trat der Fehler bei über 5 Versuchen kein einziges mal auf, dementsprechend ist die Theorie dass er da irgendwie zu schnell ist, gar nicht so falsch. Ich habe das Sleep jetzt wieder rausgenommen und pauschal vor dem Repeat das fileDatei := TFileStream.Create(strLocalFile, fmCreate); gesetzt. Das FileExist und den Else Zweig brauche ich ja nicht mehr. Sieht bisher super aus! Eine allgemeine Frage habe ich aber noch. Ich hatte ja bereits ein paar Beiträge vorher mal die Idee in den Raum gebracht ohne Schleife zu arbeiten und so die Datei in einem Stück runterzuladen. Gibt es da eine Variante vor der FileStream nicht bereits die gesamte ContentLength annimmt? |
AW: Problem mit Freisetzung von FileStream und Frage zum IdHTTP Datei Download
Du gibst mit
Delphi-Quellcode:
an, von wo bis wo geladen werden soll.
IdDateiDownload.Request.Range := IntToStr(fileDatei.Position) + '-'+ IntToStr(intRangeEnd);
Ist intRangeEnd nun z. B. 10.000.000, so wird innerhalb des Gets dieser Wert als Size des übergebenen Stream gesetzt und damit wird die Datei so groß, auch wenn noch kein Byte geladen wurde. Wenn Du die Datei ohne diesen Wert erstellst (Request.Range also wegläßt), sollte die Datei mit dem Download des Inhaltes wachsen. Bei einem Abbruch müsste sie dann die Größe haben, die den geladenen Bytes entspricht. Vermutlich könntest Du dann bei einem unvollständigen Download mit dem bereits genutzten
Delphi-Quellcode:
für das "Dateiende" an der "Abbruchkante" wieder ansetzen. Zumindest dürfte das einen Versuch wert sein.
IdDateiDownload.Request.Range := IntToStr(fileDatei.Position) + '-';
|
Alle Zeitangaben in WEZ +1. Es ist jetzt 00:26 Uhr. |
Powered by vBulletin® Copyright ©2000 - 2025, Jelsoft Enterprises Ltd.
LinkBacks Enabled by vBSEO © 2011, Crawlability, Inc.
Delphi-PRAXiS (c) 2002 - 2023 by Daniel R. Wolf, 2024 by Thomas Breitkreuz