Wenn es keine Eigenschaft von TColorDialog gibt, die den Rahmen steuert, ist es auch kaum möglich den Rahmen zu entfernen ohne die Klasse abzuleiten.
Aber wenn TColorDialog von TForm oder etwas nah verwandtem abgeleitet ist, gibt es die Möglichkeit (ColorDialog1 as TForm) zu verwenden. Aber ich glaube TColorDialog ist abgeleitet von sowas wie TCustomDialog (hab' grad' Delphi nicht zur Hand).
Am Besten mal die hierarchische Struktur der Komponenten in der Delphi-Hilfe nachschlagen.