エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
DECIMAL/NUMERIC 型の演算結果後の有効桁数が良く分からない。。。 - お だ のスペース
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
DECIMAL/NUMERIC 型の演算結果後の有効桁数が良く分からない。。。 - お だ のスペース
MSDN を見ると、こんな感じの表が載っている。有効桁数、小数点以下桁数、および長さ (Transact-SQL) 演... MSDN を見ると、こんな感じの表が載っている。有効桁数、小数点以下桁数、および長さ (Transact-SQL) 演算 結果の有効桁数 結果の小数点以下桁数 e1 + e2 max(s1, s2) + max(p1-s1, p2-s2) + 1 max(s1, s2) e1 - e2 max(s1, s2) + max(p1-s1, p2-s2) + 1 max(s1, s2) e1 * e2 p1 + p2 + 1 s1 + s2 e1 / e2 p1 - s1 + s2 + max(6, s1 + p2 + 1) max(6, s1 + p2 + 1) この結果桁数が大きくなった場合は、次のようなルールで桁数が調整されるようです。 有効桁数、小数点以下桁数、および長さ (Transact-SQL) より引用 結果の有効桁数と小数点以下桁数の絶対最大値は 38 です。結果の有効桁数が