カテゴリカル分布は、ベルヌーイ分布を3次元以上に拡張した分布で、例えるなら、出る目が均等ではない歪んだサイコロを1回投げた時に、どの目が出るか？を表現することができる確立分布です。 ベルヌーイ分布がコインの表と裏のような2値を表現するのに対し、カテゴリカル分布(カテゴリ分布)では、サイコロの出目のように、ベルヌーイ分布を一般にk次元に拡張した場合の確率分布です。 つまり、複数の離散値の中から、特定の1つの値をとる離散確率変数がカテゴリカル分布です。 カテゴリカル分布を定式化する際には、one-hot-representaiton(1 of K 表現, representation)など、少し見慣れない数式表現もあり、なかなかとっつきにいくいかもしれません。 しかし、1ofK表現などは、使えるようになると非常に便利な上、混合モデルや深層学習などでは非常に頻出で、論文や教科書等を読む際には必ず