Zitat:
Darf ich fragen, was das für Daten sind? Du sprichst von möglicherweise 3000 Tausend Dateien zu je 4 GB täglich. Da reden wird von 12 TB pro Tag. Dein 20 TB RAID packt ja dann noch nicht einmal 2 Tage.
Ich habe tatsächlich meine Bedenken, solche Mengen an Daten über irgendwelche simplen
Indy Clients oder per CopyFile zu kopieren. Bist du dir der Netzwerklast bewusst. Ich schätze doch mal, dass ihr nur die Server im 10 GBit Netz betreibt, und nicht die Clients!
Ich denke da sollte schon ein etwas durchdachtes Konzept her. Das Zerstückeln der Dateien ist
imho schon mal die richtige Richtung. Aber dennoch, 12 TB von XP Clients (wieviel an der Zahl eigentlich), überträgst du nicht einfach nur mal so. Ich könnte mir dort einen Dienst auf dem Server vorstellen, der immer nur 1 oder mehrere (jedenfall kontrolliert an der Anzahl) von Clients gleichzeitig bedient, um die Serverlast (vor allem das IO) in Grenzen zu halten. Die Clients melden sich mit einem Programm an, und übergeben die einzelnen Containerdateienanzahl und die Groesse am Server. Sobald der Server wieder Luft hat, fungiert er nach dem Fifo Prinzip und teilt einem Client mit, dass er wieder empfangsbereit ist... Ich denke du verstehst wie ich das meine, ansonsten nochmal nachhaken.
Aber ganz ehrlich: Das sind immense Mengen an Daten. Ich weiss, ein SAN ist teuer, wäre aber bei solchen Mengen eventuell trotzdem eine Überlegung wert.
Ja da hast du sicher Recht, es sind unmengen an Daten. Diese Daten brauchen allerdings auf dem Server keine langen vorhaltezeiten da sie kurz nach dem Eintreffen auf dem Server
weiterverarbeitet und dann gelöscht werden.
Was das SAN betrifft, so reden wir hier von einer Investition von etwa 140.000 Euronen. Ein Angebot habe ich schon eingeholt, aber es lohnt wirklcih nicht.
Die besagten bis zu 3.000 treten nur maximal in einem Monat auf und sind als Jahresspitze zu sehen. In den anderen Monaten sind es wesentlich weniger Dateien (ca. 700-1200 tgl.).
Also solange ich die Investition vermeiden kann, werde ich es zumindest mal versuchen ob es auch anders geht.
Und ja, aktuell ist nur der Server mit 2 mal 10Gbit angebunden. Die Möglichkeit die Clients ebenfalls mit 10Gbit anzuschließen ist aber gegeben und schnell realisiert.
Achso...
Zitat:
Darf ich fragen, was das für Daten sind?
Klaro darfst du! Es sind eine art PDF Dateien. Diese sind als Rohdateien ca. 200-600 MB groß und werden auf den XP Clients für den Digitaldruck aufbereitet.
Hierdurch werden die Dateien dann ca. 1-4 GB groß.
Gruß