Also, nach vielem Suchen und Experimentieren habe ich die Lösung gefunden.
Sie funktioniert allerdings nur mit WMV-Videos. (Dürfte sich um ein Treiberproblem handeln, aber das ist mir im Moment egal)
Delphi-Quellcode:
panel1.Width:=640;
panel1.Height:=480;
MediaPlayer1.FileName := 'meinvideo.wmv';
mediaplayer1.Display:=panel1;
mediaplayer1.Open;
MediaPlayer1.DisplayRect:=Panel1.ClientRect;
// Obiges stellt dann das Video auf der eingestellten Panel-Größe dar
// Alternativ (!) dazu funktioniert auch das Folgende.
// Es stellt die Darstellung auf die native Größe des Videos
mediaplayer1.DisplayRect := Rect(1, 1, 0, 0);
mediaplayer1.Play;