Du solltest dir mal den SetupMaker von Nullsoft laden!! Der ist Freeware und wenn du dich n bissl mit dem Assistenten auseinander setzt, und dir dann den Source zum erstellen des Installers genau anschaust, haste keine Probleme mehr mit Registrymüll oder zurück bleibenden Ordnern!!
Der NS Installer wird auch hier im Forum oft behandelt, sodas du hier auch dazu Hilfe finden kannst. Leider hab ich den Link jetzt grad nicht parat.. such doch einfach mal im Forum nach
NSIS oder
NULLSOFT INSTALLER 
[EDIT]
Hier ist der Link zur Seite[/EDIT]
Greetz,