Pythonで情報利得を計算してみる - surologジニ係数に引き続き、情報利得の関数も作ってみました。 ジニ係数については以下を参照ください、 [Pythonでジニ係数を計算してみる - surolog 以下の流れでご紹介 情報利得の簡単な説明 情報利得の実装 情報利得って wikiによれば カルバック・ライブラー情報量 - Wikipedia カルバック・ライブラー情報量(カルバック・ライブラーじょうほうりょう、英: Kullback–Leibler divergence、カルバック・ライブラー・ダイバージェンス)とは、確率論と情報理論における2つの確率分布の差異を計る尺度である。情報ダイバージェンス(Information divergence)、情報利得(Information gain)、相対エントロピー(Relative entropy)とも呼ばれる。 http://ja.wikipedia.org/wiki/カルバック・ライブ
