Neben fragmentierter/defekter Festplatte und Antiviren/Firewall-Software, können auch einige Shell-Extensions den Explorer bzw. das Listing von Dateien in einem Verzeichnis verzögern (TortoiseGit hat bei mir ab und zu diesen Effekt). Du kannst ja mal mit dem Tool
Autoruns überprüfen, was so alles geladen wird. Vielleicht springt dir ja was ins Auge oder du entdeckst Software, die du eh nicht mehr benötigst.