Dateien ordnen?

[Jonas]

Hi. Ich würde gerne ein Programm entwickeln, welches Dateien/Ordner automatisch auf verschiedene Laufwerke verteilt. Die Vorstellung ist, man hat einen Server mit mehreren Laufwerken. Ist jedoch nicht in der Lage alles auf ein Laufwerk zu bekommen. Zudem sind die Laufwerke unterschiedlich schnell. Dazu kommt eben das Programm, was die Daten automatisch auf die Laufwerke verteilt. Es erkennt/guckt danach wie häufig eine Datei verwendet wird und verschiebt sie automatisch auf das Laufwerk welches die schnellste Lese-Performance bietet. Beim schreiben das selbe.
Außerdem soll es auf die Belastung der Festplatte achten sowie anzeigen ob ein Laufwerk/Sektor beschädtigt ist etc.
Das eben alle Dateien korrekt, verteilt werden.
Leider habe ich keine Ahnung wo ich wie anfangen muss, und wollte euch um Rat fragen!

[freak4fun]

Das klingt alles noch ein wenig "ungeplant". Schreib dir eine genaue Featureliste und arbeite dann Punkt für Punkt ab. Bei konkreten Problemen können wir dir dann besser helfen.

MfG
freak

[marabu]

Hallo Jonas,

da alle Programme ihre Dateien über Zugriffspfade identifizieren, müsstest du dann eigentlich ein neues Dateisystem entwickeln, welches die Jonglage vor den Programmen verbirgt. Das könnte ein sehr anspruchsvolles Projekt werden.

Grüße vom marabu

[Jonas]

Zitat von freak4fun:

Das klingt alles noch ein wenig "ungeplant". Schreib dir eine genaue Featureliste und arbeite dann Punkt für Punkt ab. Bei konkreten Problemen können wir dir dann besser helfen.

MfG
freak

Nein. Es ist schon sehr geplant. Nur ich habe eben noch nie so wirklich mit Festplatten und Datenstruckturen und so gearbeitet.

Zitat von marabu:

Hallo Jonas,

da alle Programme ihre Dateien über Zugriffspfade identifizieren, müsstest du dann eigentlich ein neues Dateisystem entwickeln, welches die Jonglage vor den Programmen verbirgt. Das könnte ein sehr anspruchsvolles Projekt werden.

Grüße vom marabu

Nein, ich denke, dass das nicht unbedingt notwendig ist.

Aber hiermal die featurelist:
1) Auslesen der Gesammentenfestplatten kapazität
2) Auslesen der Schreib-/Lesegeschwindigkeit
3) Auslesen der Daten (Video, Audio, Daten)
4) Sortieren nach: Platz & Geschwindigkeit
5) Defragmentieroption (mit einem Beliebigem Programm)
6) Überwachung
7) Vergleichen der Dateien (die Option "gleiche" Dateien anzeigen zu lassen, und dementsprechend auch entfernen zu können)
8) Backup Optionen

Es soll ja nur die Daten dahin verschieben wo
A) Platz ist
B) die beste Performance für den Benutzer

Das der User sich nicht darumer kümmern muss wie er wo ne Datei hinkopiert, oder auf der einen Festplatte platz macht um auf der anderen eine Datei hinkopieren zu können, das soll das Programm für ihn übernehmen. Es soll stetig darauf Achten.

Wobei ich mir bei 7 & 8 noch nicht sicher bin, da sich das Projekt eigentlich in Grenzen halten soll.

[Union]

Zitat von marabu:

...da alle Programme ihre Dateien über Zugriffspfade identifizieren

Ist aber schon wichtig. Wie sollen denn die Benutzer mitbekommen, wohin jetzt das Programm die Dateien wegoptimiert hat? Entweder ein eigenes Dateisystem (vollkommen transparent für den Benutzer) oder NTFS Links nutzen oder eine Datenbank, in die jeder User seine Favoriten eintragen kann - nur diese werden dann optimiert und der Aufruf der Dateien darf nur noch über Ancklicken der enthaltenen Tabellenzeilen erfolgen. Alternativ ein User-Agent, der in der Registry und evtl. in den WMP-Mediadatenbanken die alten durch die neuen Pfade austauscht, damit wenigstens die Filehistory noch verwendbar ist.

[SirThornberry]

Ich glaub um das Dateisystem kommst du nicht drumherum. Denn sonst kann es passieren das die Datei in ein Programm geladen wird (welches die Datei nicht offen hält sondern den Inhalt in den Speicher kopiert) und dann beim Speichern der Änderungen ist die Datei plötzlich weg/verschoben. Für die Programm und den Nutzer sollten die Daten also Virtuell immer an der gleichen Stelle zu finden sein.

[Jonas]

Zitat von SirThornberry:

Ich glaub um das Dateisystem kommst du nicht drumherum. Denn sonst kann es passieren das die Datei in ein Programm geladen wird (welches die Datei nicht offen hält sondern den Inhalt in den Speicher kopiert) und dann beim Speichern der Änderungen ist die Datei plötzlich weg/verschoben. Für die Programm und den Nutzer sollten die Daten also Virtuell immer an der gleichen Stelle zu finden sein.

Hmm. Aber das kann man damit umgehen wenn man erkennt das auf die Festplatte zugegriffen wird. Es ist ja wie gesagt ein Server. Wenn man nicht auf ein Laufwerk zugreift bzw wenn keine Verbindung aufgebaut ist, spielt es doch keine Rolle wo was hingekopiert wird. Das kann man ja erkennen.
Somit sollte das Problem schonmal nicht auftreten.

Zum anderen. Dann sollte das Programm vielleicht über die Komplettefreigabe verfügen. So das es die Freigaben Ordner komplett bestimmen kann. Das wenn ich auf C:\Musik habe und auf D:\Musik habe, es auf der Freigabe C:\Musik + D:\Musik = Musik ist. So das eben für den Benutzer die Daten weiterhin in seinem Verbundenlaufwerk/Ordner ist.

[Mavarik]

Hmm..

In Zeiten von NTFS und der Möglichkeit in einzelnen Pathes ganze Festplatten (Datenträger) unter zu bringen,
klingt das wie eine Featureliste aus dem Jahre 1978... Zu dieser Zeit musste man sich über soetwas noch Gedanken machen...

Heute nimmt man ein Raid 5/10/12 und packt soviel rein wie man braucht... Schneller als die Leitung übers Internet ist das dann sowieso...

Frank

[Jonas]

Zitat von Mavarik:

Hmm..
klingt das wie eine Featureliste aus dem Jahre 1978... Zu dieser Zeit musste man sich über soetwas noch Gedanken machen...

Nein, nicht wirklich.
Okay vielleicht sind einige Sachen übertrieben, wie beispielsweise das mit der Lese und Schreibgeschwindigkeit. Das Hauptziel des Programmes soll es einfach sein die Daten selbst ordnen zukönnen.
Eigentlich war es so geplant:
Ich habe einen Virtuellen Ordner zur Freigabe:

Musik
Videos
Dokumente
Galerie

Alle Ordner repräsentieren jedoch die gesammte Speichergröße. Nicht einer Festplatte sondern allen insgesammt. Kopiere nun eine Datei in den "Ordner" Musik. Greift nun das Programm ein, und verteilt die Datei, dementsprechend auf die Festplatte.

Da dies, soweit ich es mittlerweile begriffen habe, jedoch nur mit einem neuen "Dateisystem" möglich ist, versuche ich die Funktionen eben mit den Features die obgenannt sind
zu "imitieren" um auf ein halbwegs gleiches Ergebnis zu kommen. Das war und ist aufjedenfall die Idee.

[Mavarik]

Zitat von Jonas:

Da dies, soweit ich es mittlerweile begriffen habe, jedoch nur mit einem neuen "Dateisystem" möglich ist, versuche ich die Funktionen eben mit den Features die obgenannt sind
zu "imitieren" um auf ein halbwegs gleiches Ergebnis zu kommen. Das war und ist aufjedenfall die Idee.

Ja aber wofür?

Das macht doch einfach keinen Sinn! Mach doch aus den Festplatten ein Raid oder ein Set und fertig...

Frank