Einfach von allen aneinanderliegenden Vektoren (Differenzen zwischen den Punkten) das
Kreuzprodukt nehmen? Wenn bei allen Ergebnissen (wieder ein Vektor) die Z-Achse > 0 ist, ist der Drehsinn positiv. Wenn er bei allen < 0 ist, ist der Drehsinn negativ. Falls beide Vorzeichen vorkommen, ist bei der Eingabe ein Fehler passiert. Zumindest müsste das meiner Meinung nach funktionieren.
Du solltest aber auch noch prüfen, ob die Punkte wirklich auf einer Ebene liegen.