Ich habe es herausgefunden und beantworte daher meine Frage gleich selbst.
Man darf für die automatisch zu verschiebenden Elemente nicht immer ein neues FlowLayot verwenden, sondern insgesamt nur eines.
Vor den Elementen, die immer umgebrochen werden sollen platziert man einfach ein FlowLayoutBreak.
Ich hoffe, der Hinweis hilft auch anderen und erspart ein langes Probieren.
