Nimm einen Profiler oder messe einfach im Server-Programm, welcher Teil die Zeit verplempert.
(Ich würde mal auf die Grafikkarte tippen -> Auslesen des Bildschirminhalts)
Es steht im Eingangspost, das es das nicht sein kann,
Das Problem liegt am Socket/Netzwerk.
Sehr lustig, wenn das alles so klar ist, warum fragst Du dann hier?
Ich finde den Hinweis von Sir Rufo sehr gut, genauer gesagt die Hinweise.