Nun wollte ich die Matrix 90 Grad um die Z-Achse drehen. Weiß jemand wie das geht?

Drehmatrix?
Bin etwas verwirrt von deiner Frage. Die Skizze von deinem Koordinatensystem hat drei Dimensionen, aber die Matrix in deinem Code ist offenbar 12-dimensional. Bei mehr als drei Dimensionen kann man nicht um eine "Achse" rotieren, sondern muss in einer Ebene rotieren. Wie das geht, steht aber auch in dem Wikipedia-Artikel im Abschnitt
Drehmatrizen des Raumes R^n.