VBAのFixやIntの計算誤差は浮動小数点レジスタの精度がかかわっている - Qiita

問題 Double型のデータをIntやFixで切り捨てた場合に誤差がでます。 浮動小数点なので当然誤差は出ますが、CDblのキャストのタイミングでも誤差が発生します。 ExcelVBAのイミデイトウィンドウで下記を実行してください。 環境によってはFix関数に渡す前にCDblでキャストした場合と、しない場合で計算結果が変わります。 再現環境 Office2010 32bit Windows7 64biy CPU Intel(R) Core(TM) i5 CPU M450 2.4GHz 原因 この問題は、下記のページでも議論されています。（このページではVB6が話題ですが、基本的に同じです） この原因には、計算途中の浮動小数点の精度とDouble型の精度に違いがあるために発生しています。 浮動小数点の演算の途中経過が64ビットの仮数を持つ80ビットのレジスタで計算しているが、Dobule型は