Erm..
sowas gibts schon, und zwar sogar als OpenSource (zumindest für C).
Das Tool hört auf den netten Namen VNC, das steht für Virtual Network Computing und befindet sich
hier.
Du kannst mit VNC jeden Desktop fernsteuern, auf dem das Tool läuft. Das ganze sogar über ein Java-Applet mit dem Web-Browser, und das ganze ist Platformübergreifend (also von Windows aus Linux-Kisten bedienen und umgekehrt).
Viel Spass damit