Wieso? Weißt du nicht was ein Rückgabewert ist oder wo liegt das Problem?
Mehr zum Rückgabewert und ggf. zur Fehlerauswertung findest du jedenfalls in der Dokumentation zu RegisterHotkey:
http://msdn.microsoft.com/en-us/library/ms646309.aspx
// EDIT:
Funktioniert es denn bei anderen Programmen im Vordergrund? Dann liegt es vermutlich einfach daran, dass das Programm DirectInput verwendet. Da funktioniert das nicht so einfach, da braucht man vermutlich einen
DirectX Hook (wie du ja selbst
drüben im DF schon vermutet hattest).