Du kannst Browserinstanzen über Interfaces kontrollieren (zB
IDocHostUIHandler2) - ob dies mit bereits aktiven Instanzen geht, weiß ich nicht genau.
BTW: Nimm dir mal den Process Explorer von Sysinternals und schaue bei einer iexplore.exe-Instanz, wieviele Handles die so hat. Danach solltest du nochmal deine Fragestellung überdenken