Ich habe wirklich echte Probleme Dir zu folgen, da das von Dir beschriebene Verhalten doch eigentlich genau das ist, was man erwarten würde. Im Anhang ein lieblos zusammengefrickeltes Sample basierend auf der
SVN-Version von easySDL, dass Dir vielleicht weiter hilft. Bedenken solltest Du zwei Dinge: Es ist hilfreich, wenn das Objekt sich im Mittelpunkt befindet. Sprich: Ein Quad von -0.5/-0.5 nach 0.5/0.5 ist leichter zu rotieren als eines von 0/0 nach 1/1. Ansonsten dreht sich das Gebilde halt nicht ums Zentrum, sondern wie ein Planet um die Sonne. Auch solltest Du bedenken, dass Matrix-Operationen eine eigenart haben: A*B != B*A. Es spielt also eine große Rolle um welche Achse Du zunächst drehst. In deinem Fall bietet sich vermutlich an erst die X und dann um die Y-Achse zu drehen. Sollte ich Dich also nun nicht gänzlich Mißverstanden haben und das ganze zum gewünschten Effekt geführt haben, würde ich dir als weiterführende Lektüre die beiden letzteres Tutorials aus der mathematischen Rubrik unserer Tutorials verordnen:
DGL-Tutorials