最大エントロピー法、主観主義統計力学

院生のK藤くんが実験データを得られなかった領域に確率をどのように割り当てたらいいのかと聞いてきたため、最大エントロピー法というのを使えばいいのだと考えていろいろ調べていたのだが、そこから統計力学と情報理論の間をつなぐ文献をいくつか見つけて興味深かった。 最大エントロピー法というのは拘束条件が少ないため確率を一意に決定できない場合、全体のエントロピーが最大になるように割り当てを行えばよいという考え方。たとえば事象A,B,Cがあり、Aの起きる確率が1/2ということは分かっているが、残りの二つの起きる確率は分からない場合、BとCに1/4ずつの確率を割り当てるのが直感的にもっともらしいように感じられるが、これは実際エントロピーを最大化する割り当てになる。エントロピーは不確かさの指標であるので、与えられた情報が少ない時は余計な仮説を立てず、もっとも曖昧な推測をしておこうということ。等確率の原理と似て