Dies geschieht in 2 Schritten:
-Verknüpfen der Endung mit Dateityp (in deinem Fall nicht nötig, da schon mit txtfile verknüpft.
HKEY_LOCAL_MACHINE\.txt
(Standard) txtfile
-Eintrag für Dateityp und Aktion (open, edit, print,...) anlegen.
HKEY_LOCAL_MACHINE\txtfile\Shell\open\command
(Standard) <Programm mit Pfad>