Einzelnen Beitrag anzeigen

Benutzerbild von Jelly
Jelly

Registriert seit: 11. Apr 2003
Ort: Moestroff (Luxemburg)
3.741 Beiträge
 
Delphi 2007 Professional
 
#12

Re: Viele große Dateien übers Netzwerk verschieben

  Alt 6. Okt 2008, 08:28
Darf ich fragen, was das für Daten sind? Du sprichst von möglicherweise 3000 Tausend Dateien zu je 4 GB täglich. Da reden wird von 12 TB pro Tag. Dein 20 TB RAID packt ja dann noch nicht einmal 2 Tage.

Ich habe tatsächlich meine Bedenken, solche Mengen an Daten über irgendwelche simplen Indy Clients oder per CopyFile zu kopieren. Bist du dir der Netzwerklast bewusst. Ich schätze doch mal, dass ihr nur die Server im 10 GBit Netz betreibt, und nicht die Clients!

Ich denke da sollte schon ein etwas durchdachtes Konzept her. Das Zerstückeln der Dateien ist imho schon mal die richtige Richtung. Aber dennoch, 12 TB von XP Clients (wieviel an der Zahl eigentlich), überträgst du nicht einfach nur mal so. Ich könnte mir dort einen Dienst auf dem Server vorstellen, der immer nur 1 oder mehrere (jedenfall kontrolliert an der Anzahl) von Clients gleichzeitig bedient, um die Serverlast (vor allem das IO) in Grenzen zu halten. Die Clients melden sich mit einem Programm an, und übergeben die einzelnen Containerdateienanzahl und die Groesse am Server. Sobald der Server wieder Luft hat, fungiert er nach dem Fifo Prinzip und teilt einem Client mit, dass er wieder empfangsbereit ist... Ich denke du verstehst wie ich das meine, ansonsten nochmal nachhaken.

Aber ganz ehrlich: Das sind immense Mengen an Daten. Ich weiss, ein SAN ist teuer, wäre aber bei solchen Mengen eventuell trotzdem eine Überlegung wert.
  Mit Zitat antworten Zitat