Benenne die alte exe einfach um.
Dann ist es egal, ob die noch läuft.
Und du kannst ja einerseits prüfen, ob das Programm noch läuft (EnumProcesses z.B.) und andererseits bekommst du ja als Rückgabewert, ob das Löschen bzw. umbenennen erfolgreich war.
Ich würde die aber sowieso umbenennen, damit man die, wenn beim Update etwas schief geht, notfalls wiederherstellen kann.