情報理論の基礎～情報量の定義から相対エントロピー、相互情報量まで～ | Logics of Blue最終更新：2017年6月12日 この記事では「情報量をどのように定義するか」という問題への回答としての、情報エントロピー、そして、相対エントロピー（別名：カルバック・ライブラーの情報量）や相互情報量の導入とその解釈の仕方を説明します。 統計学や機械学習を学ぶ際に、どうしても必要となる考え方ですので、ある程度まとまった知識、解釈の仕方を持っておくと、少し難しい書籍を読んだ時にも対応ができるようになるかと思います。 スポンサードリンク 目次 情報理論とは 情報量を定義する 情報エントロピーと平均情報量 相対エントロピー 相互情報量 1．情報理論とは 情報理論とは、文字通り「情報とは何かを定義し、より良い扱い方を考える学問」といえます。 その中でも大きく3つのジャンルに分けることができます。 1つ目は、そもそも情報量をどのように定義するか、という問題を解決するジャンル。 2つ目は、情報を、いかに
