Ich würde ja einen einzigen generischen USB-Treiber für alle USB-Ports nehmen, der nur die ID auslesen kann und dann den für die ID passenden Treiber verwendet, bis das Gerät wieder entfernt wird.
Wie lange diese Erkennung dauert merkst du ja. Würdest du das ernsthaft bei jedem Anstecken statt nur beim ersten an dem Port haben wollen?