Die Matrizen sind keine Verktoren auf Dinge, sondern in denen steckt die Vorschrift, nach der Punkte auf ihrem Weg auf die 2D-Abbildung transformiert werden sollen. Die World-Matrix sagt dabei aus, was mit jedem Vertex der Welt schon mal vorab passieren soll (d.h. Verschiebung, Drehung und Verzerrung), und diese werden dann mit der View-Matrix auf eine Ebene abgebildet - eben dem Bild.
Während man aus der View-Matrix durchaus wieder die Kameraposition herausrechnen kann, klappt das mit der Welt-Matrix zu Objekt schon nicht mehr so unbedingt, da Objekte ja nicht zwangsläufig immer im Ursprung definiert sein müssen (sind sie meist, aber eben nicht zwangsweise), und oft wird für jedes Objekt eine separate World-Matrix verwaltet - die zuletzt verwendete ist daher eher selten zufällig die, die du willst.
Statt mir mit den Matrizen einen abzubrechen, würde ich mir viel eher die Kameraposition und die, des betreffenden Objektes separat mitführen, um dann daraus eine LookAt-Matrix basteln zu können. (Die sich eben aus Blickrichtungsvektor, Up-Vektor und FOV zusammensetzt.)
Edit: Achso, der Titel ist übrigens etwas irreführend. Du suchst an keiner Stelle irgendwelche Winkel
"When one person suffers from a delusion, it is called insanity. When a million people suffer from a delusion, it is called religion." (Richard Dawkins)