TensorFlow の RNN チュートリアルやってみた - Qiita
自分用のメモ／学習を兼ねて、TensorFlow の RNN のチュートリアルを一行ずつみながらやってみる。 LSTM とはなんぞや、とか、そもそもの TensorFlow の使い方とかは、チュートリアル中にあるので割愛。 チュートリアルで用いているコードの内容の解説だけをおこなう。 コードのインデントが2で気持ち悪いとか、この関数 deprecated なんだけど💢といった苦情は Google 社へお願い致します。 対象としているチュートリアルは、 Language and Sequemce Processing の下にある、Recurrent Neural Networks というページ。 データ準備 まずはチュートリアル中で使用するデータ／コードのDLから。 コード TensorFlow 本体にはチュートリアルのコードが一部しか含まれていないため、別途DLが必要。 TensorFl
RNN and LSTM - handong1587
Types of RNN 1) Plain Tanh Recurrent Nerual Networks 2) Gated Recurrent Neural Networks (GRU) 3) Long Short-Term Memory (LSTM) Tutorials The Unreasonable Effectiveness of Recurrent Neural Networks blog: http://karpathy.github.io/2015/05/21/rnn-effectiveness/ Understanding LSTM Networks blog: http://colah.github.io/posts/2015-08-Understanding-LSTMs/ blog(zh): http://www.jianshu.com/p/9dc9f41f0b29 A
RNN見ずに次のAI語れず、先端研究の有用部品に
ディープラーニング技術の研究で今、最もホットなのが「RNN（recurrent neural network）」だ。パターン認識を得意とする通常のDNNと異なり、時系列データや文脈の扱いに優れるRNNは、人の知能に近い動的なシステムを構築するのに適している。RNNベースの先端研究の事例を紹介する。 企業での実用にすぐに堪えるわけではないものの、ディープラーニング技術では、将来の人工知能を考える上で興味深い研究成果が次々と出てきている。与えられた画像から説明文を自動生成したり、ソートなどの汎用アルゴリズムを自ら獲得したりする技術だ。その多くがニューラルネットの一種であるRNNを用いている。RNNを見ずして将来のAIは語れないといえるほど、先端的な研究に欠かせない要素となっている。 RNNが活用されるのは、RNNが他のニューラルネットにない重要な機能を備えるからだ。情報を蓄える記憶素子の機能で
ニューラルネットワークで時系列データの予測を行う - Qiita
Hopfield networkは、一般的なクラス分類以外に最適化問題への応用が可能なモデルです。 Elman/Jordanは、Simple recurrent networksと言われているように一番シンプルな形となっています。RNNを利用したい場合はまずどちらかでやってみて、精度的な問題があるのなら他の手法に切り替えてみる、というのがよいのではないかと思います。 Elman/Jordanの違いは上記のとおりですが(前回データの反映が隠れ層から行われるか、出力層から行われるか)、こちらにも詳しく書かれています。精度的な優劣はありませんが、隠れ層の数によって次に伝播する量を変化させられるElmanの方が柔軟と言えると思います。 Echo state networkは毛色が違ったモデルで、ノードを事前に結合せずReservoir(貯水池などの意味)と呼ばれるプールに貯めておき、入力が与えられ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Deeplearning 4 j のクイックスタートガイド - Deeplearning4j: Open-source, Distributed Deep Learning for the JVM
Is there a recurrent neural networks toolkit?
