Ds ist eigentlich nicht so schwer, würde ich mal sagen.
Wenn die Kugel auf die Ecke trifft, denkst du dir eine Gerade, die durch die Ecke geht und senkrecht auf die Verbindungslinie Ecke-Kreismittelpunkt steht. Dann lässt du die Kugel an dieser Geraden abprallen und dein Problem sollte gelöst sein.
An der Seitenfläche machst du eigentlich auch nichts anderes, du verbindest den Auftreffpunkt mit deinem Mittelpunkt und rechnst o.g. Gerade aus, die hier nur mit der Seitenkante des Rechtecks zusammenfällt. Also eigentlich nur ein Spezialfall der Ecke.
Zur Berechnung der neuen Geschwindigkeit könntest du z.B. Rotationsmatrizen benutzen.
// da war zwar ein Kasten, aber sagen wollte ich es trotzdem.
