Das einzige was mir jetzt einfällt, was eventuell klappen könnte ist das Parent-Window des Fensters rauszufinden und diesem eine Nachricht zu senden, auf die es irgendwie antworten muss.
Nur dumm, dass das Fenster sofort antwortet, da das Programm, dank der modalen Botschaftsschleife, sehr reaktionsfreudig ist, auch wenn es nicht "Enabled" ist.
Als mögliche Lösung könnte man alle Top-Level Fenster des Prozesses durchgehen und wenn nur eines Enabled ist, dann hat man das modale Formular. Sollte eigentlich recht gut funktionieren, denn das ist gerade das, was modal bei Fenstern bedeutet.