Nichts ist unmöglich
Nur die Frage nach dem Aufwand bleibt.
Der javaw.exe-Prozess hat, soweit ich das mal eben hier testen konnte (nimm einfach den Process Explorer von
www.sysinternals.com) ein Datei-
Handle auf die .jar offen.
Insofern gäbe es als Möglichkeiten, die mir spontan einfallen:
1. Systemweite
Handle-Liste nach javaw.exe filtern, dort nach
Handle zur gefragten Java-Anwendung suchen.
2. Per Injection in allen javaw.exe-Instanzen nach dem
Handle suchen.
3. Sollte es eigener Java-Code sein, einfach ein eindeutiges
Mutex defininieren (oder noch einfacher: eine Lock-Datei), auf das Du testen kannst, aber ich denke, das ist es hier nicht?
4. Je nachdem, mit welchen Sharing-Attributen javaw.exe das .jar öffnet, prüfen ob es sich noch gegenläufig öffnen lässt (keine 100%-Aussage, zugegeben).