Understanding LSTM Networks -- colah's blog
Recurrent Neural Networks Humans don’t start their thinking from scratch every second. As you read this essay, you understand each word based on your understanding of previous words. You don’t throw everything away and start thinking from scratch again. Your thoughts have persistence. Traditional neural networks can’t do this, and it seems like a major shortcoming. For example, imagine you want to
再帰的ニューラル・ネットワーク(Recurrent Neural Network; RNN)を理解する
しかし、ここには以下のような2つの問題がありました。 文章はサンプルによって長さが違う。自然言語では重要な単語の場所がサンプルによって違う 。 普通のニューラル・ネットワークだとある特定の場所の重みが大きくなったりしますが、それでは、違う場所にある重要な表現を捉えることができません。 再帰的ニューラル・ネットワークを使った自然言語処理 そこで、提案されたのが、時系列データを扱うためのRNNの利用です。 もともと、RNNは時系列のデータ処理を行うために利用されているモデルでしたが、それを自然言語処理の問題に応用できないか？ということで提案されたのがこちらの論文です。 https://www.fit.vutbr.cz/research/groups/speech/publi/2010/mikolov_interspeech2010_IS100722.pdf 上記の論文とは表現方法が少々違います
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
