pythonの除算結果が浮動小数点数になったので、必要な精度が失われた話 - 子供の落書き帳 Renaissance
（注：pythonの話を書いていますが、浮動小数点の精度の話は他のプログラミング言語でも同様だと思います。 pythonの記法では、浮動小数点の除算演算子が/であり、整数除算の演算子が//であることに注意してください） 特に、大きな数の計算で答えの整数を正確に求める必要がある場合に、この問題にハマりやすい。 Pythonでは除算の結果がfloatになる 公式リファレンスより。 整数の除算結果は浮動小数点になりますが、整数の切り捨て除算結果は整数になります https://docs.python.org/ja/3/reference/expressions.html#binary-arithmetic-operations 公式チュートリアルより。 除算 (/) は常に浮動小数点数を返します。 https://docs.python.org/ja/3/tutorial/introductio
浮動小数点、その中身とは « demoscene.jp
Tweetこんにちは、Falken/brainstormです。 デモの中では、映像を表示するには色んな数学計算が行われてますね。整数計算は簡単だと思いますが、FPUの小数点はどう計算しているのかと考えたことありませんか？そもそも、floatの中の32ビットはどんな意味を持つのでしょう？ 今日の記事はIEEE 754を判りやすく説明いたします。 floatの構造体 では、floatの32ビットの中の割り当てるビットを見ましょう。 floatのビットは3つの部分に別けられてますね。 sign bitは1ビットであり、符号という意味。このビットが0の場合は正の数、1の場合は負の数です。 exponentは8ビットであり、指数部という意味。簡単で言うと、この8ビット分は、基数2で小数点の位置が決められます。 mantissaは残りの23ビットで仮数部という意味。指数部で決められた幅の中で、この23
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
