情報理論の基礎～情報量の定義から相対エントロピー、相互情報量まで～ | Logics of Blue
最終更新：2017年6月12日 この記事では「情報量をどのように定義するか」という問題への回答としての、情報エントロピー、そして、相対エントロピー（別名：カルバック・ライブラーの情報量）や相互情報量の導入とその解釈の仕方を説明します。 統計学や機械学習を学ぶ際に、どうしても必要となる考え方ですので、ある程度まとまった知識、解釈の仕方を持っておくと、少し難しい書籍を読んだ時にも対応ができるようになるかと思います。 スポンサードリンク 目次 情報理論とは 情報量を定義する 情報エントロピーと平均情報量 相対エントロピー 相互情報量 1．情報理論とは 情報理論とは、文字通り「情報とは何かを定義し、より良い扱い方を考える学問」といえます。 その中でも大きく3つのジャンルに分けることができます。 1つ目は、そもそも情報量をどのように定義するか、という問題を解決するジャンル。 2つ目は、情報を、いかに
ポアソン分布 - NtRand
An Excel Add-In Random Number Generator Powered By Mersenne Twister Algorithm ENGLISH RSS ポアソン分布(Poisson distribution) 馬に蹴られてポアソン分布 概要 恋愛の話じゃありません。馬に蹴られて死んでしまう兵士の数の分布。これこそが歴史上初のポアソン分布の実用例だったのです。驚いたでしょ？ ポアソン分布が現れる例は… ある交差点で1時間に起きる事故の件数 国道1キロメートル当たりのレストランの数 この原稿を書いている間に変換間違えをする数 などといったものが考えられます。このようにポアソン分布とは、時間（例えば1時間当たり）、場所（例えば1平方メートル当たり）、距離（例えば1キロメートル当たり）などある一定区間の中で、偶然に起こる事象の数の分布です。 でもこれは一般的には起こる確
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
