Ich kann das hier nicht reproduzieren. Mit den übergebenen Parametern bei BeginDrag ist das auch zu erwarten. Es muss also noch etwas anderes sein. Kannst du ein Beispielprojekt hier anhängen, damit wir mehr Informationen kriegen?
Anbei der Quellcode des Beispielprojekts. Um das Problem zu reproduzieren eines der Panele doppelklicken.