Ein anderer, evtl. einfacherer Weg, wäre es den Schnittpunkt zwischen dem Dreieck und dem "Mauszeiger" zu bilden. Stelle dir den Mauszeiger dabei als eine Gerade vor, die genau in Z-Richtung* durch den Zeiger "in den Bildschirm hinein" geht. Der Schnittpunkt ist sofort die gesuchte Lösung.
Zusatzinfo, die für das Problem an sich nicht mehr relevant ist: Das Verfahren nennt sich hochgestochen "Raycasting", und ist der kleine Bruder vom Raytracing. Diese Technik wird auch gerne in 3D-Editoren benutzt, um herauszufinden über welchem Objekt sich der Mauszeiger gerade befindet. (Und Doom basierte darauf!
)
*) Achtung, das gilt nur für Orthogonalprojektion!!! Wenn du perspektivisch projezierst und/oder mehrere Dreiecke hast und/oder die Selektion auch über diese Technik machen willst, wird die Projektion wichtig. Dann muss die Gerade durch deinen Kamerapunkt in Richtung des Mauszeigers auf der Abbildungsebene gehen. Sonst triffst du irgendwo, aber nicht das was du glaubst. (Am besten zeichnet man sich seine "Zeiger-Gerade" mit in die Szene - wenn man sie nicht mehr sieht bzw. sie nur noch ein Punkt an der selben Stelle wie der Mauszeiger ist, dann ist sie sehr wahrscheinlich richtig.)
"When one person suffers from a delusion, it is called insanity. When a million people suffer from a delusion, it is called religion." (Richard Dawkins)