情報理論の基礎～情報量の定義から相対エントロピー、相互情報量まで～ | Logics of Blue
最終更新：2017年6月12日 この記事では「情報量をどのように定義するか」という問題への回答としての、情報エントロピー、そして、相対エントロピー（別名：カルバック・ライブラーの情報量）や相互情報量の導入とその解釈の仕方を説明します。 統計学や機械学習を学ぶ際に、どうしても必要となる考え方ですので、ある程度まとまった知識、解釈の仕方を持っておくと、少し難しい書籍を読んだ時にも対応ができるようになるかと思います。 スポンサードリンク 目次 情報理論とは 情報量を定義する 情報エントロピーと平均情報量 相対エントロピー 相互情報量 1．情報理論とは 情報理論とは、文字通り「情報とは何かを定義し、より良い扱い方を考える学問」といえます。 その中でも大きく3つのジャンルに分けることができます。 1つ目は、そもそも情報量をどのように定義するか、という問題を解決するジャンル。 2つ目は、情報を、いかに
『AICをぶっ壊す』とAICの復習の学習記録 - 霞と側杖を食らう
【学習動機】 分析に用いているモデルの評価にAICが使えるのか不安になったので, AICについて学び直すことにした. 小西・北川『情報量規準』でAICの導出を追い直しつつ, Rで数値実験しているものを探していたら, ノンパラでよく見かける竹澤先生の書いた『AICをぶっ壊す』というものに出会った. http://cse.naro.affrc.go.jp/takezawa/AIC%E3%82%92%E3%81%B6%E3%81%A3%E5%A3%8A%E3%81%99.pdf このドキュメントを読んで, コードがもっと速くできると思ったので, コードを書き換えつつ, AICについて学び直す. 理論面はこちらで学ぶ. 記法や呼称もこちらに準拠する. 小西・北川『情報量規準 (シリーズ・予測と発見の科学)』 www.amazon.co.jp 統計学の入門を一通り終えた人には, この本をオススメする
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
