タグ

ブックマーク / www.asahi-net.or.jp/~FV6N-TNSK (1)

  • http://www.asahi-net.or.jp/~FV6N-TNSK/gates/excel.txt

    「エクセルなんて小数点第一位の引き算ですら計算間違うんだから(セル に =(1.1-1-0.1)と書くとわかります)」という部分が有りますが、これは MS Excel特有の問題ではありません。別にMSの肩を持とうという訳ではない のですが (^^;) 私が所有しているMS Excel 5.0 for Mac, クラリスワーク ス 4.0 for Mac/Win, Mariner-J 4.0, MS Excel 95のいずれでも同様な問題 が生じます(もちろん職場にあるMS Excel 97でも)。 この計算結果が0とならないのは、計算機で実数演算を行う際の基的な 問題によっています。すべての原因は10進数を有限桁の2進数で表わす事に あります。実際のExcelの内部表現形式とは違いますが、例えば仮数部12桁 として扱っていると考えると、この計算誤差の発生メカニズムは以下

    denken
    denken 2006/07/25
    ほんとだ、8.32667E-17になった
  • 1