Moin Nils,
so kann es schon mal nicht gehen.
Mit GWL_EXSTYLE liest man die WS_EX_xxx und nicht die WS_xxx Werte aus, ausserdem müsstest Du nicht auf = 0, sondern auf = angegebener Style testen.
Dein Beispiel müsste also lauten
if (GetWindowLong(hWnd,GWL_STYLE) and WS_MINIMIZE) = WS_MINIMIZE then
Da hiermit aber nicht der aktuelle Zustand abgefragt, sondern wie das Fenster initial dargestellt wird, nutzt Dir das auch nichts.
Die Funktion die Du suchst heisst schlicht
IsIconic