Viele große Dateien übers Netzwerk verschieben

[Computerbabalulu]

Zitat:

Ja wie gesagt, du kannst nach der Dateiübertragung prüfen, ob die Hashes übereinstimmen. Entweder einfach vom Client aus, oder dem Server noch auf welchem Wege auch immer den Hash übermitteln und einem Serverdienst das Validieren überlassen. Was ist wenn ein Client mal "vergisst" die Datei zu übertragen, kann man darauf irgendwie schließen.

Auch dir herzlichen Dank für dein Interesse und deine Ideen!

Ja, das wäre auch ein lösungs Ansatz. Ich will mal sehen was hier noch so an Kreativen Ideen zusammen kommt.
Manchmal sieht man den Wald vor lauter Bäumen nicht und da ist mir gerne mal ein Fachkundiger Rat von anderen ganz lieb.
Hier gibt es massig Kompetenz und einige habe sicher ähnliches schonmal realisiert (siehe littleDave).

Eventuell gibt es ja auch schon eine fertige Software die mir hier helfen könnte?!

Also vorab schonmal vielen Danke an alle...

Gruß

[Jelly]

Darf ich fragen, was das für Daten sind? Du sprichst von möglicherweise 3000 Tausend Dateien zu je 4 GB täglich. Da reden wird von 12 TB pro Tag. Dein 20 TB RAID packt ja dann noch nicht einmal 2 Tage.

Ich habe tatsächlich meine Bedenken, solche Mengen an Daten über irgendwelche simplen Indy Clients oder per CopyFile zu kopieren. Bist du dir der Netzwerklast bewusst. Ich schätze doch mal, dass ihr nur die Server im 10 GBit Netz betreibt, und nicht die Clients!

Ich denke da sollte schon ein etwas durchdachtes Konzept her. Das Zerstückeln der Dateien ist imho schon mal die richtige Richtung. Aber dennoch, 12 TB von XP Clients (wieviel an der Zahl eigentlich), überträgst du nicht einfach nur mal so. Ich könnte mir dort einen Dienst auf dem Server vorstellen, der immer nur 1 oder mehrere (jedenfall kontrolliert an der Anzahl) von Clients gleichzeitig bedient, um die Serverlast (vor allem das IO) in Grenzen zu halten. Die Clients melden sich mit einem Programm an, und übergeben die einzelnen Containerdateienanzahl und die Groesse am Server. Sobald der Server wieder Luft hat, fungiert er nach dem Fifo Prinzip und teilt einem Client mit, dass er wieder empfangsbereit ist... Ich denke du verstehst wie ich das meine, ansonsten nochmal nachhaken.

Aber ganz ehrlich: Das sind immense Mengen an Daten. Ich weiss, ein SAN ist teuer, wäre aber bei solchen Mengen eventuell trotzdem eine Überlegung wert.

[Luckie]

Was aber auf alle Fälle ganz wichtig ist, ist ein ausführliches Log zu schreiben, damit man Fehler nachvollziehen kann. Ich hatte mal ein ähnliches Problem. Allerdiunmgs hat es sich nur im kleine Dateien gehandelt. Meine Lösung sah dann so aus: Auf das Netzwerk ist kein Verlass.

[Computerbabalulu]

Zitat:

Darf ich fragen, was das für Daten sind? Du sprichst von möglicherweise 3000 Tausend Dateien zu je 4 GB täglich. Da reden wird von 12 TB pro Tag. Dein 20 TB RAID packt ja dann noch nicht einmal 2 Tage.

Ich habe tatsächlich meine Bedenken, solche Mengen an Daten über irgendwelche simplen Indy Clients oder per CopyFile zu kopieren. Bist du dir der Netzwerklast bewusst. Ich schätze doch mal, dass ihr nur die Server im 10 GBit Netz betreibt, und nicht die Clients!

Ich denke da sollte schon ein etwas durchdachtes Konzept her. Das Zerstückeln der Dateien ist imho schon mal die richtige Richtung. Aber dennoch, 12 TB von XP Clients (wieviel an der Zahl eigentlich), überträgst du nicht einfach nur mal so. Ich könnte mir dort einen Dienst auf dem Server vorstellen, der immer nur 1 oder mehrere (jedenfall kontrolliert an der Anzahl) von Clients gleichzeitig bedient, um die Serverlast (vor allem das IO) in Grenzen zu halten. Die Clients melden sich mit einem Programm an, und übergeben die einzelnen Containerdateienanzahl und die Groesse am Server. Sobald der Server wieder Luft hat, fungiert er nach dem Fifo Prinzip und teilt einem Client mit, dass er wieder empfangsbereit ist... Ich denke du verstehst wie ich das meine, ansonsten nochmal nachhaken.

Aber ganz ehrlich: Das sind immense Mengen an Daten. Ich weiss, ein SAN ist teuer, wäre aber bei solchen Mengen eventuell trotzdem eine Überlegung wert.

Ja da hast du sicher Recht, es sind unmengen an Daten. Diese Daten brauchen allerdings auf dem Server keine langen vorhaltezeiten da sie kurz nach dem Eintreffen auf dem Server
weiterverarbeitet und dann gelöscht werden.

Was das SAN betrifft, so reden wir hier von einer Investition von etwa 140.000 Euronen. Ein Angebot habe ich schon eingeholt, aber es lohnt wirklcih nicht.
Die besagten bis zu 3.000 treten nur maximal in einem Monat auf und sind als Jahresspitze zu sehen. In den anderen Monaten sind es wesentlich weniger Dateien (ca. 700-1200 tgl.).
Also solange ich die Investition vermeiden kann, werde ich es zumindest mal versuchen ob es auch anders geht.

Und ja, aktuell ist nur der Server mit 2 mal 10Gbit angebunden. Die Möglichkeit die Clients ebenfalls mit 10Gbit anzuschließen ist aber gegeben und schnell realisiert.

Achso...

Zitat:

Darf ich fragen, was das für Daten sind?

Klaro darfst du! Es sind eine art PDF Dateien. Diese sind als Rohdateien ca. 200-600 MB groß und werden auf den XP Clients für den Digitaldruck aufbereitet.
Hierdurch werden die Dateien dann ca. 1-4 GB groß.

Gruß

[Computerbabalulu]

Hi Luckie

Zitat:

Was aber auf alle Fälle ganz wichtig ist, ist ein ausführliches Log zu schreiben, damit man Fehler nachvollziehen kann. Ich hatte mal ein ähnliches Problem. Allerdiunmgs hat es sich nur im kleine Dateien gehandelt. Meine Lösung sah dann so aus: Auf das Netzwerk ist kein Verlass.

Danke für den Tip
Auf deiner Seite war ich gestern schon und hab rumgestöbert

Das Thema "Auf das netzwerk ist kein Verlass" habe ich dabei natürlich auch direkt gefunden!

Dabei direkt mal ein Lob an dich, es befinden sich nämlich sehr viele nützliche und Interessante Beiträge und Code Samples auf deiner Seite

Gruß