Einzelnen Beitrag anzeigen

gammatester

Registriert seit: 6. Dez 2005
999 Beiträge
 
#3

AW: round(): Invalid Floating Point Operation

  Alt 16. Nov 2010, 09:42
Hallo,

mein round() verhält sich sehr merkwürdig. Nachdem ich die roundTo() schon mit einer eigenen Funktion ersetzen musste (aufgrund des Double- anstatt Extended-Parameters), wird mein Programm nun mit einer 'Invalid floating point operation' gestoppt. Werte, die dazu führen, sind bspw. -153*10^17. Round() verlangt Extended und gibt Int64 zurück, beide haben einen Wertebereich, in den dieser passen würde.
Und was soll daran merkmwürdig sein? -153*10^17 ist halt nun mal -1.6588293*2^63 = -1.6588293*MaxInt64.
  Mit Zitat antworten Zitat