タグ

2015年9月13日のブックマーク (1件)

  • 数値計算の常識 概要(個人的メモ) - Qiita

    第1章:数の表現と誤差 16進切り捨てと2進切り捨て 16進切り捨てのとき$ε=6*10^{-8}〜10^{-6}$ 2進切り捨てのとき$ε=3*10^{-8}〜6*10^{-6}$ ループ制御時の誤差の考慮 $0.1≒(0.CCCCCD)_{16}*2^3$を10回足すと、10進で約1.0000001192になって1.0よりわずかに大きくなる。 この場合、whileの条件をwhile(x<=1.0)にしていては条件を満たさない。 こんなときには、ループの制御に整数変数を持たせるとか、whileの条件に刻み幅0.1より小さい、かなりの"余裕"をもたせて"while x<=1.001 do"のようにするとかが定石となっている。 第2章:桁落ちに気をつけよう(その1) 桁落ちとは 絶対値がごく近い2数を足したり引いたりして結果の絶対値が小さくなるような計算をすると、絶対値が小さくなった分だけ相

    数値計算の常識 概要(個人的メモ) - Qiita
    laughing
    laughing 2015/09/13