Ich weiss zwar immernoch nicht, warum die TScrollBox sich so verhält, aber ich hab eine Lösung gefunden:
Ein TPanel mit alTop in die TScrollBox legen, die Controls darin erzeugen und entsprechend die TPanel.Height anpassen. Dann klappts auch mit den Scrollbars.