タグ

関連タグで絞り込む (2)

タグの絞り込みを解除

pythonとfractionに関するkoma_gのブックマーク (1)

  • プログラミングにおける数値計算はワナがいっぱい - Qiita

    普通に考えると「0.3」ですが、実際には0.3にはなりません。 正解は「0.30000000000000004」です。(値は環境によって変わる可能性があります) 数値計算の誤差を気にしない場合は問題ないのですが、そこそこ正確に数値計算を行う場合は、色々と工夫が必要です。 なので、この記事では小数計算の誤差を回避する方法についてまとめたいと思います。!(^^)! 言語はPythonなので悪しからず、、 そもそもコンピュータにおける小数点の扱いについて まず、前提として2進数における小数点の扱いについて解説します。10進数の小数を2進数に変換するためには、小数部分のみを2倍して、その結果の整数部分を使います。 例えば、「0.875」を2進数に変換する方法は下記となります。 0.875 * 2 = 1.75 (整数部分が1) # 小数部分の0.75のみ2倍する 0.75 * 2 = 1.5 (整

    プログラミングにおける数値計算はワナがいっぱい - Qiita
  • 1