タグ

2017年10月13日のブックマーク (1件)

  • 非正規化数 - Wikipedia

    非正規化数(ひせいきかすう、Denormalized Number)または非正規数(ひせいきすう、Denormal Number)は、浮動小数点方式において「正規化」して表現できないような、0にごく近い、絶対値が極端に小さい数の表現法により表現された数である。英語では Subnormal Number とも。たとえばC言語の倍精度 (double) の場合、float.h により DBL_MIN という名前に定義される最小の正規化数よりも絶対値が小さい(つまりゼロに近い)。 概要[編集] 一般に浮動小数点方式では、仮数部の上位桁にゼロが出現しないよう表現を調整する。たとえば、0.0123 は 1.23×10−2 と表現される。これを「正規化」と言う。非正規化数は、正規化すると、表現に使用しようとしている表現方式で、指数が表現可能な範囲より小さくなってしまう数である(一般に浮動小数点では、仮

    yu4u
    yu4u 2017/10/13
    半精度浮動小数点 (float16) 等でCNNをbackwardする場合、このせいでgradientがアンダーフローして0になる