Das Beispiel zum ausschneiden:
Code-Library -> Windows-API -> Wie mache ich ein elliptisches Formular?
Und ein altes Demo von mir um eine andere Form zu erstellen
Ein Vorschlag: ein Rechteck erstellen und aus diesem ein kleineres Rechteck ausschneiden (rdn_diff).
Da das in dem Beispiel auf Images angewendet wird, musst du nur
SelectObject(XXX.Canvas.Handle, RHandle);
durch
SetWindowRgn(Form1.Handle, RHandle, True);
ersetzen.