ディリクレ分布、ディガンマ関数、指数分布族、十分統計量 - yasuhisa's blog東京ではPRML読書会の最終回があっていたらしいですが、こちらはすごく初歩的な話。 LDAのinferenceをGibbs samplingでやる話とかを紹介したので、こちらは変分ベイズでやるほう(というか元論文)を読んでいた。変分ベイズはいいんだけど、途中で出てくる (つまりはパラメータのエントロピー)がよく分からんくなっていた。ディガンマ関数はガンマ関数の対数を取ったものの一階微分で だけど、「期待値取る操作のところに何で微分のoperationが入ってくるねん!」と小一時間悩んでいたのでメモ。 指数型分布族そういえば昔のPRML読書会で指数型分布族の発表担当でレジメを作っていたようだ。 www.yasuhisay.info PRMLで出てくるような基本的な確率分布はほとんど指数型分布族に属していると考えていい(例外は混合分布くらい)。ベルヌーイもガウスも今回のディリクレも指数型分布族
