タグ

型とfloatに関するlocke-009のブックマーク (1)

  • float型では123456789すらも表現できない話 - Qiita

    はじめに この記事はQualiArts Advent Calendar 2020の22日目の記事になります。 稿では数値の扱われ方の説明を行ない、浮動小数点数で表現できる整数値の有効桁数の話をします。 そして、最終的に単精度浮動小数であるfloat型では 123456789 が表現できないことを確認していきます。1 背景 ゲームの演出で獲得経験値をパラパラとアニメーションでカウントアップさせようとしていました。 とりあえず 0 から 123456789 までカウントアップさせる実装をしたものの、123456789 になってくれない。 くそぅ、、何度やっても 123456792 になってしまう!!! 結論から言うと、カウントアップの内部処理で値がfloat型として扱われており、float型では 123456789 の値は表現できなかったというオチでした。 int型の最大値は 2,147,4

    float型では123456789すらも表現できない話 - Qiita
  • 1