Ich habe gerade mal geschaut unter welchen Versionen das ganze eigentlich läuft...
Für Delphi 7 bis 2007 geht es nun, wenn auch nicht wirklich schön. Aber ohne Casts geht es da eben nicht. Und mehr werde ich diesbezüglich auch nicht machen.

Ich habe aber festgestellt, dass es auch mit Delphi 2009 und höher nicht geht, weil die Generics so ihre Tücken hatten. Bis XE6 geht es auf jeden Fall nicht, irgendwann danach kam der Fix. (custom constructor bei type constraint auf eine bestimmte Basisklasse)
Mal schauen...