Ich hätte eher getippt, das du kein Binding auf dem gewünschten Port erstellen kannst weil dort schon jemand lauscht? Von ICMP habe ich keine Ahnung, insbesondere nicht, was das .Ping-Kommando konkret tun soll...
Ping sendet ein ICMP Paket an einen Server (sofern die Firewall das zulässt), das dieser dann beantwortet wenn er mag. TIdCmpClient öffnet keinen eigenen Port.
Die Fehlermeldung könnte eventuell durch die lokale Firewall ausgelöst werden, aber das ist nur eine Vermutung...