タグ

関連タグで絞り込む (2)

タグの絞り込みを解除

64bitと浮動小数に関するslay-tのブックマーク (1)

  • Python3で巨大な浮動小数計算の結果が変だったので理由を調べてみた - paiza times

    Photo by Jacob Munk-Stander 秋山です。 タイトルのとおり、Python3で巨大な浮動小数計算をした時の計算結果についての話です。 例えば、 11 × ÷ 10 という計算式があったとしましょう。 普通に人力で単純に計算しようと思ったら、10の23乗を計算して、それから11を掛けて…という手順になるかと思いますが、10の23乗の時点で 100000000000000000000000 という大きな数になってしまい(ちなみに千垓です。垓は万・億・兆・京の次になります)非常にわかりづらいですね。 これぐらいの桁数の数になってくると、プログラミングでもいわゆる32bitの整数型では表現することができません。64bit整数でも足りないので、128bit整数でやっと表現できるようになります。 私は普段paizaのスキルチェック問題の制作を担当していて、自分でもいろいろな問題

    Python3で巨大な浮動小数計算の結果が変だったので理由を調べてみた - paiza times
  • 1