タグ

関連タグで絞り込む (0)

  • 関連タグはありません

タグの絞り込みを解除

SQLServerに関するoramasahiroのブックマーク (1)

  • データ型でFloatとreal の計算の違い?

    floatもrealもいわゆる概数といわれるデータ型で、小数の保持には必ず誤差が生じます。 一方、SQL Serverにはデータ型の優先順位というものがあります。 http://msdn.microsoft.com/ja-jp/library/ms190309 … floatもrealもmoneyより上です。 したがって、float * money, real * moneyの演算を行うと、moneyはそれぞれfloat, realに変換されてから演算に使われます。 moneyで9.4と持っていたものがreal型に変換されると、結局9,4にはなりません。 おそらく9.399999389...あたりになってしまいます。realの有効桁数は7桁しかありませんから、小数点以下7桁目以降はアテにならない数字になります。 これに200を掛けても1879.999877..などとなるため、floorを掛

    データ型でFloatとreal の計算の違い?
  • 1