Meinst Du so ähnlich wie z.B. bei Word?
Ein Word-Dokument öffnen startet Word, wenn Word schon gestartet ist, öffnet Word das Dokument.
Das ist relativ einfach: Erstens muss Dein programm den Dateinamen als Parameter annehmen. Dann kannst Du eine Verknüpfung zwischen Deinem Dateityp und Deinem programm machen. Somit wird Dein programm schon geladen, wenn Du so eine Datei öffnest.
Dann schau mal, wie man verhindern kann, das mehrere Instanzen eines Programmes laufen. An der Stelle wirds etwas tricky: Anstelle das Programm sofort zu schliessen wenn es schon läuft, musst Du dem anderen Programm eine Nachricht schicken (guck mal unter Sendmessage), und den Dateinamen an das bereits laufende Programm senden (dessen
handle hast Du ja bereits vom gucken ob es schon läuft).
Dann musst Du nur noch auf so eine Nachricht reagieren und dann die Datei öffnen.