タグ

2014年11月25日のブックマーク (1件)

  • class Float (Ruby 1.9.3)

    クラスの継承リスト: Float < Numeric < Comparable < Object < Kernel < BasicObject dynamic include: JSON::Generator::GeneratorMethods::Float (by json) 要約 浮動小数点数のクラス。Float の実装は C 言語の double で、その精度は環 境に依存します。 一般にはせいぜい15桁です。詳しくは多くのシステムで採用されている 浮動小数点標準規格、IEEE (Institute of Electrical and Electronics Engineers: 米国電気電子技術者協会) 754 を参照してください。 # あるシステムでの 1/3(=0.333...) の結果 printf("%.50f\n", 1.0/3) => 0.333333333333333

    wataken44
    wataken44 2014/11/25
    @hyuki 正確に計算したわけじゃないけど、たぶんfloatの精度(だいたい15桁)の限界だと思います。