Für mich als Anwender ist es doch wurscht, welchen USB-Port ich benutze. Ich pack den USB-Stick mal hier, mal dort rein.
Naja, als Anwender ist es dir egal, aber dem Treiber nicht.
Mal ein Vergleich:
Du schreibst ein Programm, das eine Datei verarbeitet. Das wird nun auf dem PC installiert. Normalerweise würde man nun dem Programm freundlicherweise sagen wo die Datei liegt, die es verarbeiten soll.
Aber das ist dem Anwender ja egal, der packt die Datei mal hierhin und mal dorthin.
Ja, und nun verarbeite mal die Datei mit deinem Programm.
Ganz trifft es der Vergleich vielleicht nicht, aber das Prinzip sollte klar werden. Genau wie das Programm wird der Treiber vom Betriebssystem geladen. Wenn der Treiber aber nun nicht weiß auf welchem Anschluss er dann arbeiten soll, hat er ein Problem.