タグ

decimalと誤差に関するmohnoのブックマーク (1)

  • decimal型(十進小数)に夢を見ている輩が多すぎる - Qiita

    みたいなのが挙げられます。これが話題になった時にSNSで見かける言説が「十進小数 (decimal) 型ならこういう問題はない」です。 ですが、decimal型は十進小数を正確に表現できるという話でしかなく、全ての実数を正確に表現できるわけではありません。例えば、 1.0 / 3.0 * 3.0 の計算を考えてみましょう。数学的には、これはちょうど 1.0 になるはずです。 C#の場合 C#には標準の decimal 型があります。これで 1.0 / 3.0 * 3.0 を計算してみましょう。

    decimal型(十進小数)に夢を見ている輩が多すぎる - Qiita
    mohno
    mohno 2024/06/09
    そこまで夢を見てる人を知らんが、コンピュータ内部では、日常的に使う10進法ではなく、2進法で計算するので「2のべき乗の組み合わせでない数は正確に表現できない」という話。そんなに3で割らなくていいよ(←オイ)
  • 1