Special cases of Shannon entropy
Every (linear) inequality or identity about entropy (and related quantities, such as mutual information) then specialises to a combinatorial inequality or identity about finite sets that is easily verified. For instance, the Shannon inequality becomes the union bound , and the definition of mutual information becomes the inclusion-exclusion formula For a more advanced example, consider the data pr
TensorFlowのコード分割の考え方 - Qiita
import tensorflow as tf input = [ [1., 0., 0.], [0., 1., 0.], [0., 0., 1.] ] winning_hands = [ [0., 1., 0.], [0., 0., 1.], [1., 0., 0.] ] x = tf.placeholder("float", [None, 3]) W = tf.Variable(tf.zeros([3, 3])) b = tf.Variable(tf.zeros([3])) y = tf.nn.softmax(tf.matmul(x, W) + b) y_ = tf.placeholder("float", [None, 3]) cross_entropy = -tf.reduce_sum(y_ * tf.log(y)) train_step = tf.train.GradientDe
情報量・エントロピー＜ＯＲ（オペレーションズ・リサーチ）＜Ｗｅｂ教材＜木暮仁
参照：JavaScriptの計算プログラム 情報の価値は、その情報を入手したときに、入手しなかったときと比べて、どれだけ利益を得るかで決まります。それには、伝えられた情報の量と情報の内容の重要性の二面があります。このうち、ここでは量の面だけを取り扱います。 １個の硬貨が表か裏かをあてるゲームをするとき、内通者が表だと教えてくれる場合と、サイコロの目が５であることを教えてくれる場合では、後者のほうが情報量が大きいことは常識的にうなずけます。後者の情報量は前者の情報量の何倍になるのかというようなことを数学的に考えようとするのが情報理論です。 ここでは、情報理論の基本的な概念である情報量とエントロピーについて説明します。なお、厳密にはこの情報量のことを選択情報量（自己エントロピー）といい、後述のエントロピーのことを平均情報量（平均エントロピー）といいます。 情報量 情報量の定義 情報理論では、「
目次＜オペレーションズ・リサーチ＜Ｗｅｂ教材＜木暮
オペレーションズ・リサーチ（ＯＲ：Operations Rearch）とは，応用数学の一分野で，数学的なアプローチにより経営問題の意思決定を支援する分野です。もっと単純には「合理的なものの考え方」であるといってもよいでしょう。 ＯＲの歴史は古く，第二次世界大戦中に米英軍により開発されました。連中はいかに効果的に戦争をするかを考えたのに，当時の日本軍は精神力を重視して合理的な発想をむしろ拒否する風潮でした。現在の企業経営にもその文化が残っているのではないでしょうか。 あるいは，コンピュータの発展により，なんでもコンピュータを利用したがる風潮があります。しかし，「合理的なものの考え方」をせずに，大量のデータを加工したのでは，費用がかかるだけでなく，誤った意思決定をしてしまう危険があります。 オペレーションズ・リサーチには，よく用いられるパターン（技法）があります。ここでは，初心者を対象に古典的
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
The Mutual Information Diagram for Uncertainty Visualization
Lecture 11: Continuous-valued signals and differential entropy -Biology 429 Carl Bergstrom
Introduction to Continuous Entropy - Charles Marsh Department of Computer Science Princeton University
FreeSearch/DBLP: multi-dimensional by:"Francisco Escolano" Source:DBLP By:Francisco Escolano
A new measure of uncertainty based on knowledge granulation for rough sets
粗視化情報エントロピーによるグレースケール画像の定量化 福井大学 井上、平田
http://enpub.fulton.asu.edu/workshop/2006/FSDM06-Proceedings.pdf
Decision Tree Induction: Using Entropy for Attribute Selection
Building Decision Tree Classifier on Private Data
Complete Mining of Frequent Patterns from Graphs: Mining Graph Data
Reduction of Complexity: An Aspect of Network Visualization
相互情報量