Hierarchical Softmaxの性質 - QiitaこれはHierarchical Probabilistic Neural Network Language Model に登場するHierarchical Softmax(以降hSm)について簡単に書くものです． 分類問題(特にsoftmax関数)に関する基本的な知識を必要とします．あとハフマン木がどのように構成されるかについて知っている方と理解がスムーズに進むかと思います． 手法の背景 Neural Networkを用いて文字列の生成をする場合，一般にラベル(単語)の予測にはSoftmax関数が用いられる．Softmax関数は$m_l = \langle \mathbf{w}_l, \mathbf{x} \rangle$とした時， で定義される関数である．自然言語で語彙を考える場合，辞書は数万単位のサイズになる．そのため，$Z=\sum_k^K exp(m_k)$の計算が非常にハイコスト
