Ich habe das gerade mal selber getestet. Ist wohl tatsächlich so, unter
OS X Mavericks funktioniert der OpenDialog nicht, wenn das Programm mit Delphi XE3 erzeugt wurde.
Auch wenn man den Dialog selbst implementiert (wie ich es in meiner Sandbox-
Unit gemacht habe), funktioniert das nicht, scheint also kein möglicher WorkAround zu sein.
Was mich ein wenig irritiert ist der Umstand, dass mein TEditor-Programm 1.01, dass ich noch mit XE3 erzeugt hatte, unter Mavericks läuft, wenn ich es aus dem Appstore installiere und ausführe (also der Unterschied ist: Appstore-Version unter XE3 auf dem MAC erzeugt und ausgeführt: Funktioniert nicht; XE3-Appstore-Version aus dem Appstore installiert und ausgeführt: funktioniert).
Insofern würde ich noch mal testen, ob Dein Programm, dass Du zuvor mit XE3 erstellt hast und Du es dann aus dem AppStore auf Mavericks installierst, noch läuft. Dann könntest Du zumindest noch unter Mountain Lion weiterarbeiten.
Letztlich wäre aber wohl ein Umstieg auf XE5 zu empfehlen. Apple bringt ja nun fast jedes Jahr ein neues
OS raus, um da am Ball zu bleiben, benötigt man wohl auch immer das aktuellste Entwicklungssystem. Wenn Du Delphi mit Maintenance erwirbst, wird es auch finanziell tragbar.
Hier liegt auch kein klassischer Bug vor, denn offensichtlich hat Apple etwas am Betriebssystem geändert, das XE3 eben nicht abdeckt, daher wird es dafür wohl auch keinen Bugfix geben...