多項分布の最尤推定 - nokunoの日記多項分布の最尤推定は確率モデルの基本中の基本であるが，意外と知らない人も多いので説明しておきたい．ここでいう多項分布は離散変数，たとえば単語や商品，ユーザなどの種類を表す変数の分布である．多項分布は頻度の分布を意味する場合もあるが，今回はNLP業界の慣習にならって観測回数が1回の場合を指す．このような変数はカテゴリカル変数などと呼ばれるらしい． 今，確率でi番目の単語が観測されるものとする．確率なので次の制約が成り立つ．この分布の元で単語が回観測されたとする．パラメータの元でこのような観測がされる確率を尤度関数と呼び，その対数は対数尤度関数と呼ばれる．各観測が上記離散確率の独立同分布に従うとすると，対数尤度関数は以下で表される．最尤推定は，観測値が与えられたときにこの対数尤度関数を最大とするようなパラメータを求める推定方法である．離散変数の場合は先ほどの制約を満たす中で上の対数尤度関数を最
