Ja, bei "ungültigen" Verzeichnis-/Dateiname geht der Dialog nicht auf ... das ist schon immer so, bei der neueren DialogAPI seit Win7 mindestens.
Und genial ist dabei auch, dass der Dialog im Rückgabewert sagt, dass der Nutzer auf das [X] geklickt habe.