尤度とAICである． KL情報量は以下のような性質を持っている． KL情報量は常に0以上である． モデルの分布が真の分布と一致するときにKL情報量はゼロとなる． この性質はKL情報量をモデルの当てはまりのよさを与えるひとつのものさしとす ることを支持している．また，KL情報量が（負の）エントロピーに符号を逆にし たものであることも，ものさしとすることを支持するものである． 上の性質から明らかなように，このものさしはあてはまりが良いほど小さい値を 持つ． 以下では，このものさしを用いてモデルの当てはまりのよさを比較する方法につ いて考えてゆく． 対数尤度 KL情報量は，離散的な場合，
