タグ

2010年6月30日のブックマーク (2件)

  • 情報理論 - Wikipedia

    情報理論(じょうほうりろん、英: Information theory)は、情報・通信を数学的に論じる学問である。応用数学の中でもデータの定量化に関する分野であり、可能な限り多くのデータを媒体に格納したり通信路で送ったりすることを目的としている。情報エントロピーとして知られるデータの尺度は、データの格納や通信に必要とされる平均ビット数で表現される。例えば、日々の天気が3ビットのエントロピーで表されるなら、十分な日数の観測を経て、日々の天気を表現するには「平均で」約3ビット/日(各ビットの値は 0 か 1)と言うことができる。 情報理論の基的な応用としては、ZIP形式(可逆圧縮)、MP3(非可逆圧縮)、DSL(伝送路符号化)などがある。この分野は、数学、統計学、計算機科学、物理学、神経科学、電子工学などの交差する学際領域でもある。その影響は、ボイジャー計画の深宇宙探査の成功、CDの発明、携

    情報理論 - Wikipedia
  • フィッシャー情報量 - Wikipedia

    この記事は検証可能な参考文献や出典が全く示されていないか、不十分です。 出典を追加して記事の信頼性向上にご協力ください。(このテンプレートの使い方) 出典検索?: "フィッシャー情報量" – ニュース · 書籍 · スカラー · CiNii · J-STAGE · NDL · dlib.jp · ジャパンサーチ · TWL (2016年10月) フィッシャー情報量(フィッシャーじょうほうりょう、英: Fisher information ) は、統計学や情報理論で登場する量で、確率変数が母数に関して持つ「情報」の量を表す。統計学者のロナルド・フィッシャーに因んで名付けられた。 を母数とし、を確率密度関数がで表される確率変数とする。 このとき、の尤度関数は で定義され、スコア関数は対数尤度関数の微分 により定義される。このとき、フィッシャー情報量はスコア関数の2次のモーメント により定義され