Mehrere NFS Shares in ein Verzeichnis Mounten

[Valle]

Da würde ich keinesfalls NFS verwenden.

Es gibt viele Lösungen dafür. Dafür sind einige Parameter interessant.

• wie viel Bandbreite brauchst du?
• wie viel Latenz ist in Ordnung?
• wie viele Clients greifen zu?
• von welchen Größeren der Freigaben reden wir?
• muss das Cluster weiter funktionieren, wenn ein Server ausfällt?
• brauchst du eine Redundanz der Daten?

[RWarnecke]

Zitat von Valle:

wie viel Bandbreite brauchst du? wie viel Latenz ist in Ordnung?

Das Gebiet Cluster ist noch etwas neu für mich. Von Außen ist der Master-Server mit 100MBit erreichbar. Untereinander sind die Server mit 100MBit oder sogar mit 1GBit verbunden. Die Latenz sollte so niedrig sein, dass nicht die eingesetzte Lösung das Nadelöhr ist. Ich hoffe Du kannst damit etwas anfangen, da ich nicht so richtig wusste, was ich auf diese zwei Fragen antworten sollte.

Zitat von Valle:

wie viele Clients greifen zu?

zwischen 28 und 560 Leute pro Server

Zitat von Valle:

von welchen Größeren der Freigaben reden wir?

zwischen 900 GB und 1,9 TB pro Server

Zitat von Valle:

muss das Cluster weiter funktionieren, wenn ein Server ausfällt?

Das sollte er.

Zitat von Valle:

brauchst du eine Redundanz der Daten?

Nein, da diese nochmals woanders gesichert werden.

[jaenicke]

Das hört sich nach dem an was ich auf Windows Server 2012 mit Hilfe von ReFS und Storage Spaces mache. In meinem Fall sind das zweimal drei 2 TB Festplatten, die zu zwei virtuellen gespiegelten 3 TB Speicherplätzen (eben die Storage Spaces, also virtuelle Festplatten) zusammengefasst sind. Diese virtuellen Laufwerk sind wiederum im Netzwerk freigegeben.
Das ganze lief von Anfang an absolut problemlos und war mit wenigen Klicks eingerichtet.

Soweit ich weiß kann man die Festplatten auch von verschiedenen Servern zusammenfassen, aber das habe ich noch nicht gemacht.

Anfang Dezember ist eine Festplatte daraus ausgefallen. Ich konnte diese problemlos im laufenden Betrieb austauschen ohne dass die Freigaben nach außen hin in irgendeiner Weise beeinträchtigt waren.

Leider kenne ich keine analoge Lösung für Linux. Vorher hatte ich jahrelang einen Linux Server (Debian), aber mit dem hatte ich um Größenordnungen mehr Aufwand und konnte dennoch weniger damit machen. Deshalb habe ich nun seit einigen Monaten auch serverseitig nur noch Windows im Einsatz.

[Valle]

Okay, weniger als 4 TB sind wirklich sehr wenig. Wieso müssen es mehrere Server sein, die diesen Speicher halten?

>1k Clients hingegen sind ziemlich viel. Da kann ich deinen Wunsch nach Redundanz auch verstehen.

Mein Vorschlag wäre, dass du statt Master-Master (was im Storage-Bereich schnell kompliziert wird) einen Master-Slave Ansatz verfolgst. Zwei identische Storage Server mit einem erweiterbaren RAID (ich empfehle RAID 6). Da kannst du nach Belieben immer wieder Platten nachschieben.

Softwareseitig würde ich ein DRBD (sowas wie RAID 1 über Netzwerk) und Heartbeat vorschlagen. Der Master Server synchronisiert seine Daten permanent über eine schnelle Gigabit-Verbindung mit dem Slave. Fällt der Master Server aus, übernimmt der andere in wenigen Sekunden, indem er sich selbst zum Master promotet. Der Master kann dann, sobald er wieder verfügbar ist, seine Rolle als Slave wahrnehmen. Das Vorgehen ist hier gut beschrieben.

Eine Alternative, falls du wirklich mehrere Master benötigst, ist GlusterFS. Damit kannst du beliebig viele Server in dein Stroage-Cluster hinzufügen. GlusterFS unterstützt auch Redundanz der Daten, sodass alle Daten auch verfügbar sind, wenn ein Server dauerhaft oder temporär ausfällt. GlusterFS ist allerdings eher nach unten beschränkt als nach oben. Ob das mit nur 2 Servern schlau (oder überhaupt möglich) ist, wage ich zu bezweifeln.

Das Problem das du hast, ist, dass es immer einen Master braucht, der gleichzeitige Zugriffe auf deinen Storage kontrolliert. Darunter zählen auch Locks auf Dateien. Daher ist eine Aufteilung in zwei unabhängige Master nicht ohne weiteres möglich. Selbstverständlich kann man Storage auf mehrere Server aufteilen (Stichwort iSCSI). Man könnte dann ein RAID über die Netzlaufwerke erstellen und dieses freigeben. Fällt der Master, der dieses RAID freigibt allerdings aus, so fällt das gesamte Cluster aus. Daher mein Vorschlag mit DRBD und Heartbeat.

Vielleicht hilft dir das ein wenig weiter. Ansonsten wäre noch interessant, gerade in Bezug auf jaenickes Post, welches Betriebssystem vorgeschrieben ist. Auch Budget, Zeitaufwand und Kenntnisse mit entsprechender Software ist natürlich eine Frage. Kannst du genaueres über die Clients verraten?

[RWarnecke]

Hallo zusammen,

ich danke euch erstmal für euren vielen Antworten.

Hintergrund meiner Frage ist folgender :
Ich plane für einen Dienst, den ich zur Verfügung stellen will, entsprechend Speicherplatz festzulegen, damit die Anwender Ihre Anhänge bei dem Dienst darauf speichern können. Dazu hatte ich gedacht, dass ich einfach zum Anfang zwei dedicated Server mit Ubuntu 14.04 bei einem Provider miete, einen davon als Master und der zweite Server sollte irgendwie mit dem Master gekoppelt werden. Das war für mich ja noch der einfache Teil, da ich das in meinen Testaufbauten immer über NFS Shares gemacht habe. Jetzt kam aber die Frage auf, was ist wenn ich jetzt noch einen dritten oder vierten Server benötige, wie mache ich dass dann. Deshalb meine Frage, ob ich zum Beispiel mehrere NFS-Share so mounten kann, dass alle in ein Verzeichnis laufen.

Ich werde mich jetzt mal in mein stilles Kämmerlein zurückziehen und darüber nachdenken, ob mein Ansatz mit den NFS-Shares noch Sinn hat, oder ob ich eine ganz andere Schiene fahren muss. Ich fühle mich eigentlich recht fit in Linux, ganz besonders mit Ubuntu, deshalb würde ich mir auch schon zutrauen, mir so etwas nach Bedienungsanleitung einzurichten. Ich werde jetzt erstmal mit ein paar Providern telefonieren, ob ich überhaupt mit den dedicated Servern solch einen Cluster aufbauen kann.

[Valle]

Ah, okay, interessant. Hatte bisher andere Vorstellungen im Kopf.

In deinem Fall hast du ja einen dedizierten Dienst, der auf den gleichen Servern läuft, auf dem sich auch der Storage befindet. In diesem Fall wäre DRBD imho nicht so gut geeignet, da dies auch schlecht nach oben skaliert. Es geht wohl vor allem darum, die Last der laufenden Dienste auf mehrere Server aufzuteilen?

Vielleicht schaust du dir dann wirklich mal Ceph (Filesystem) oder GlusterFS an. Es gibt auch noch weitere verteilte Dateisysteme. Damit kannst du gut nach oben hin skalieren, wenn du noch mehr Server brauchst.

[Dalai]

Zitat von RWarnecke:

Dazu hatte ich gedacht, dass ich einfach zum Anfang zwei dedicated Server mit Ubuntu 14.04 bei einem Provider miete

Die Server sind also via Internet erreichbar? Dann sollte man die Absicherung gleich in die Überlegung einbeziehen, d.h. es braucht ein Protokoll mit Authentisierung.

MfG Dalai

[RWarnecke]

Zitat von Dalai:

Zitat von RWarnecke:

Dazu hatte ich gedacht, dass ich einfach zum Anfang zwei dedicated Server mit Ubuntu 14.04 bei einem Provider miete

Die Server sind also via Internet erreichbar? Dann sollte man die Absicherung gleich in die Überlegung einbeziehen, d.h. es braucht ein Protokoll mit Authentisierung.

Das ist mir schon klar. Aber erstmal muss ja die Basis stehen, dann kümmere ich mich um solche Sachen.