Es liegt daran, dass du den Server beendest ohne den Clienten zu sagen, dass er beendet wird.
Schick einfach einen BEfehl an alle Clienten, damit diese sich vom Server trennen bevor dieser Beendet wird und die Sache dürfte erledigt sein.
Und ich würde das eher in das OnClose-Ereignis setzten als in das OnDestroy .. aber davon hab ich keine Ahnung