サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
大谷翔平
neuralnet.hatenablog.jp
2016 - 05 - 17 交差エントロピー(Cross Entropy) ※ MNIST for ML Beginnersの数学的な意味合い の続きです。 MNISTは、手書きの文字が0,1,2,..,9までの数字のうち、どの数字になるかを決めるというものでした。 例えば正解が2、つまり だったとして と のどちらがより正解に近いかを決めるための尺度として、交差 エントロピー というものを採用しています。 zとyの交差 エントロピー の定義は以下の通りであり、この値が小さいほど好ましい状態です。 正解がOne Hot(1つだけ100%で残りが0%)な確率分布なので、2項目以外は無視され、 となります。( は、 のj番目の変数を示します。) 上記のような簡単な計算で出てくる値が何を示すのか考えてみたいと思います。 エントロピー と自己情報量 ある確率分布 の エントロピー とは、各要素
LSTMについて。 LSTMは、ニューラルネットワークのなかでもRNN(リカレントニューラルネットワーク)に分類されるものです。RNNは時系列データを学習するためのニューラルネットワークで、LSTMはRNNの中でも繰り返し改善が施されたもので、RNNの主流と言っても過言ではないでしょう。画像処理系のCNNとあわせて、昨今のニューラルネットワークの双璧をなしていると個人的には思っています。 主たる改善は、LSTM、Long Short Term Memory(長期短期記憶)という言葉が表すように、時系列データのなかから短期的な情報だけでなく、長期的な情報も取り込めるような設計が施されているところにあります。従来のRNNでは勾配消失問題が発生するため、長期的な情報をうまく取り込むことができませんでしたが、LSTMではこの問題が解決されています。 LSTMの歴史は(人口知能においては比較的)古く
Tensor flowの初めの一歩のチュートリアルであるMNIST For ML Beginners について、数学的な意味合いを書いてみようと思います。 (ブログに不慣れなもので、修正/継ぎ足しながら公開していくことをお許しください) まず、このチュートリアルで実行していることは、 入力がn次元の配列 (は実数)が複数個あった時 、個々の出力 ()を得る写像を用意して、出力が 個々のに対する解 (あるz=1以外はz=0) に近い結果を得れるように、Fを最適化することです。 ここで、の各要素 は実数と書きましたが、これは概念上の話であり、プログラムの実装上ではfloatになります。以後、集合(つまり配列)の要素は数学上は実数ですが、プログラム上はfloatであると考えて下さい。は、となるm個の(実数の)集合です。また任意の要素は0以上であり、したがって、は0から1までの値をとることになりま
このページを最初にブックマークしてみませんか?
『neuralnetな日記』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く