AGB  ·  Datenschutz  ·  Impressum  







Anmelden
Nützliche Links
Registrieren
Zurück Delphi-PRAXiS Programmierung allgemein Netzwerke Delphi Upload großer Dateien
Thema durchsuchen
Ansicht
Themen-Optionen

Upload großer Dateien

Ein Thema von OlliWW · begonnen am 10. Sep 2020 · letzter Beitrag vom 14. Sep 2020
Antwort Antwort
OlliWW

Registriert seit: 31. Aug 2011
159 Beiträge
 
#1

AW: Upload großer Dateien

  Alt 10. Sep 2020, 10:27
Über die Serverseite hatte ich mir auch schon Gedanken gemacht.

Wenn man den Upload aufteilen will, dann müsste man auf der Programm-Seite den Stream auch in "Chunks" aufteilen und irgendwie ein intelligentes Script auf der Serverseite schreiben, dass die Chunks wieder zusammenbaut.

Ich denke ich könnte das alles implementieren, ich hatte aber gehofft, dass es dafür schon ein Framwork gibt.

Aufteilen hätte auch den Vorteil, dass man das sogar multithreaded laufen lassen könnte, um mehr Bandbreite zu nutzen.
  Mit Zitat antworten Zitat
Benutzerbild von KodeZwerg
KodeZwerg

Registriert seit: 1. Feb 2018
3.691 Beiträge
 
Delphi 11 Alexandria
 
#2

AW: Upload großer Dateien

  Alt 10. Sep 2020, 10:39
Aufteilen hätte auch den Vorteil, dass man das sogar multithreaded laufen lassen könnte, um mehr Bandbreite zu nutzen.
Vorweg, ich bin kein Internet/Delphi experte.

Das verstehe ich nicht, sind deine einzelnen Verbindungen von der Gesamtbandbreite beschränkt so das ein multi-connect tatsächlich mehr speed bringt?

Ansonsten würde ich meinen das so ein vorhaben eher kontra-produktiv ist da immer ein Paket auf ein anderes warten muss um wieder ein ganzes zu werden.
Gruß vom KodeZwerg
  Mit Zitat antworten Zitat
Benutzerbild von himitsu
himitsu

Registriert seit: 11. Okt 2003
Ort: Elbflorenz
44.340 Beiträge
 
Delphi 12 Athens
 
#3

AW: Upload großer Dateien

  Alt 10. Sep 2020, 10:52
Eventuell/Vermutlich kannst bei deinem Webserver auch etwas über CGI oder ASP nachrüsten
und z.B. am PHP vorbei mit Perl oder Python und in Windows-Servern sogar als EXE/DLL.
http://www.virtualuniversity.ch/soft...mierung/1.html

Mit einem Rootserver (auch bei virtual und dedicated) wäre aber etwas Eigenes via TCP/IP bestimmt einfacher
und kann man auch über JavaScript clientseitig von der Webseite ansprechen.
Bei uns redet z.B. demnächst ein WebClient mit dem in Delphi geschriebenem DataSnap-Server (REST).

Für andere Platformen, wie z.B. Adroid auf einem Tablet mit Laser-Barcodescanner, nutzen wir kein Delphi. (Embarcadero war da einfach zu langsam und hat es verkackt)
Ein Therapeut entspricht 1024 Gigapeut.
  Mit Zitat antworten Zitat
P_G

Registriert seit: 11. Mär 2008
14 Beiträge
 
Delphi XE5 Professional
 
#4

AW: Upload großer Dateien

  Alt 10. Sep 2020, 12:12
Kommt sowas in Frage?

https://www.dropzonejs.com/

Das arbeitet bei großen Dateien automatisch mit Chunks und hat noch ein paar andere nützliche Features an Bord (Progressbar, Preview-Images, etc.). Außerdem ist es gratis.
  Mit Zitat antworten Zitat
OlliWW

Registriert seit: 31. Aug 2011
159 Beiträge
 
#5

AW: Upload großer Dateien

  Alt 10. Sep 2020, 12:22
Vielen Dank für die vielen hilfreichen Hinweise.

Ich implementiere es gerade so:
- Intelligentes PHP Script dass immer Teile einer Datei annimmt sowas wie: upload.php?file=test.bin&chunk=4711 (auf dem Server werden die Chunks abgelegt: test.bin_4711
- Delphi teilt den Stream in 10 MB Teile und läd die an das o.g. PHP Script (idHTTP Post)
- Am Ende poste ich ein "finish" an das Script und das Script setzt (wenn die Chunks durchgehend sind) die File dann wieder zusammen

Damit muss ich das ganze nicht sequentiell abarbeiten und kann theoretisch paralell mehrere Teile übertragen (muss aber nicht)

Was ich durch das Teilen leider verliere ist die Möglichkeit einen Upload weiter durchzuführen, falls er abbricht. Normal könnte ich mit "Head" prüfen, wie groß die File auf dem Server ist und an dieser Stelle weiter machen, aber in meinem Szenario kann ich das denke ich vernachlässigen.
  Mit Zitat antworten Zitat
Benutzerbild von sakura
sakura

Registriert seit: 10. Jun 2002
Ort: Unterhaching
11.412 Beiträge
 
Delphi 12 Athens
 
#6

AW: Upload großer Dateien

  Alt 10. Sep 2020, 12:27
Vorschlag, so kenne ich es von anderen Systemen.

Im ersten Schritt den Upload registrieren mit Gesamtgröße in Bytes und einer Chunkgröße, dann kannst Du diese auch ggf. anpassen, wenn mal eine schlechte Verbindung besteht. Der Server antwortet mit einer Upload-ID. Du kannst übrigens auf modernen Windows-Rechnern direkt eine Datei mit der gewünschten Größe anlegen (dauert nur ein paar Millisekunden, FileStream.Size := AnzahlderBytes)

Dann im Upload nur die Chunk# und Upload-ID übergeben und diese dann direkt in die Zieldatei schreiben. Des Weiteren hast Du eine Bitmap für alle Chunks, und setzt das entsprechende Bit, wenn ein Chunk oben ist. Dann musst Du abschließend nicht ein "Fertig" senden. Außerdem kannst Du somit auch einen Upload fortsetzen, da der Server dem Client auch antworten kann, ob ein Chunk bereits existiert

......
Daniel Lizbeth
Ich bin nicht zurück, ich tue nur so
  Mit Zitat antworten Zitat
OlliWW

Registriert seit: 31. Aug 2011
159 Beiträge
 
#7

AW: Upload großer Dateien

  Alt 10. Sep 2020, 12:29
Cool Danke!
  Mit Zitat antworten Zitat
Blup

Registriert seit: 7. Aug 2008
Ort: Brandenburg
1.487 Beiträge
 
Delphi 12 Athens
 
#8

AW: Upload großer Dateien

  Alt 11. Sep 2020, 11:14
- Am Ende poste ich ein "finish" an das Script und das Script setzt (wenn die Chunks durchgehend sind) die File dann wieder zusammen
Vorschlag:
Am Anfang Dateiname, Länge, Chunk-Länge und Prüfsumme der Datei übertragen.
Der Server kann aufgrund dieser Informationen prüfen, ob für diese Datei schon eine Teilübertragung stattgefunden hat.
Sollte sich die gemerkte Prüfsumme der Datei unterscheiden, wurde die Datei auf dem Client inzwischen verändert und muss komplett neu übertragen werden.
Server legt die Datei sofort in der Gesamtlänge mit temporären Namen an (Speicher ist reserviert, vermindert Fragmentierung).
Server teilt mit welche Chunks noch benötigt werden.

Client überträgt Chunks, vieleicht sogar mehrere parallel (spart die Latenzzeit).
Server schreibt jeden Chunk direkt in die Datei ab der Position, an die der Chunk gehört.
Streicht die übertragenen Chunk aus seiner Liste.

Client meldet Abschluss.
Server prüft ob noch Chunk fehlen > Fehler Rückmeldung > fehlende Chunk übertragen
Server prüft CRC > Fehler Rückmeldung > Abbruch
Server benennt die temporäre Datei um und gibt die nur für die Übertragung erforderlichen Daten frei.

Es sollte auch ein Mechanismus existieren, die Übertragungen vom Client aus endgültig abzubrechen.
  Mit Zitat antworten Zitat
Benutzerbild von MyRealName
MyRealName

Registriert seit: 19. Okt 2003
Ort: Heilbronn
689 Beiträge
 
Delphi 10.4 Sydney
 
#9

AW: Upload großer Dateien

  Alt 11. Sep 2020, 11:17
Man könnte auch einfach das Torrent-Prokoll abwandeln oder gleich torrent nutzen Ist ja nicht illegal für eigene Dateien :p
  Mit Zitat antworten Zitat
Antwort Antwort

 

Forumregeln

Es ist dir nicht erlaubt, neue Themen zu verfassen.
Es ist dir nicht erlaubt, auf Beiträge zu antworten.
Es ist dir nicht erlaubt, Anhänge hochzuladen.
Es ist dir nicht erlaubt, deine Beiträge zu bearbeiten.

BB-Code ist an.
Smileys sind an.
[IMG] Code ist an.
HTML-Code ist aus.
Trackbacks are an
Pingbacks are an
Refbacks are aus

Gehe zu:

Impressum · AGB · Datenschutz · Nach oben
Alle Zeitangaben in WEZ +1. Es ist jetzt 16:22 Uhr.
Powered by vBulletin® Copyright ©2000 - 2025, Jelsoft Enterprises Ltd.
LinkBacks Enabled by vBSEO © 2011, Crawlability, Inc.
Delphi-PRAXiS (c) 2002 - 2023 by Daniel R. Wolf, 2024-2025 by Thomas Breitkreuz