.. wenn DU mit
http://fritz_box auf den Router zugreifen willst.
Musst Du irgendwo in den Tiefen von Windows die Namensauflösung eintragen.
169.... fritz_box
ansonsten wird das nichts.
Wenn die FritBox als DHCP-Server fungiert, gibt sie sich selbst als DNS-Server an. Damit erledigt sie diese Auflösung selbst. Eine Auflösung im Windows ist also überflüssig.
Als möglich Ursache für das Problem kommt also auch eine falsche Einstellung im IPv4 in Frage: Der Haken bei "DNS-Serveradresse automatisch beziehen" muss gesetzt sein.