Du kannst doch die alte Exe umbenennen und die neue an deren Stelle hinstellen.
Bei nächster Gelegenheit wird dann die alte Exe weggeräumt.
Früher (tm) beim Mehrbenutzer-Unix konnte man die Binarys einfach so löschen, der Prozess ist dann bei der nächsten Gelegenheit, wenn irgendwelche Codeblöcke nachgeladen werden mussten abgeschmiert