正規分布。一番使われる確率分布ですね。 様々な統計手法や機械学習で、前提としてデータに正規分布を仮定している場合が多いです。 みなさん知っての通り正規分布の確率密度関数は ですね。本などでいきなりでてきますが、この関数がどこからきたのか疑問に思う人は少なくないと思います。 その導出方法はいくつかありますが、今回は最大エントロピー法により正規分布を導出します。 情報量とエントロピー ある事象を観測したときの情報量とはどんなでしょうか。 情報量は確率変数の値を得たときの「驚きの度合い」と言えます。 つまり、滅多に起こらない事象は情報量が大きいですし、頻繁に起こる事象は情報量が小さいです。 天気が晴れだった場合は大きなニュースにならないですが、もし槍が降ってきたら大ニュースになります。 従って、ある事象の情報量は、確率分布に依存していて、さらに確率の単調な関数としたいです(仮定1)。 次に、無関
![最大エントロピー法による正規分布の導出 - RigelのR言語メモであーる(主にpython)](https://cdn-ak-scissors.b.st-hatena.com/image/square/7c755be47295706517c008694e3fec2cffdbd308/height=288;version=1;width=512/http%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fs%2Fstrawberry_kyon%2F20170922%2F20170922200014.jpg%3F1506078436)