タグ

2018年9月25日のブックマーク (1件)

  • Tips: Excelでの数値表現と計算精度

    単純に考えれば、セル A1は4.8-4.7= 0.1, セル B1 も 0.1 であるから、セル C1 に =A1=B1 という計算式を入れれば結果は TRUEである。以下同様で、セル C2 もセル C3 も TRUEとなるのが「アッタリマエ」である。しかし、実際にこの計算を行ってみると以下のように全て FALSEとなる。なぜ? 1. 無限小数を含む計算を有限桁数で計算すると何が起きるか たとえば、1÷3を計算して、その答えに3を乗ずる計算を考えてみよう。1÷3は 0.333333333…であるから、紙に中間の結果を書こうとするといつまでたっても終わらない。それでは困るので、中間の計算結果では小数点以下10桁まで書くというルールを(便宜的に)作る。すると、 1÷3 = 0.3333333333 0.3333333333×3=0.999999999 あれ。1÷3に3を乗じたのに、1に戻ってい