タグ

rnnに関するyubessyのブックマーク (2)

  • LSTMネットワークの概要 - Qiita

    Christopher Olah氏のブログ記事 http://colah.github.io/posts/2015-08-Understanding-LSTMs/ の翻訳です。 翻訳の誤りなどあればご指摘お待ちしております。 リカレントニューラルネットワーク 人間は毎秒ゼロから思考を開始することはありません。このエッセイを読んでいる間、あなたは前の単語の理解に基づいて、各単語を理解します。すべてを捨てて、またゼロから思考を開始してはいません。あなたの思考は持続性を持っています。 従来のニューラルネットワークは、これを行うことができません、それは大きな欠点のように思えます。たとえば、映画の中の各時点でどのような種類の出来事が起こっているかを分類したいと想像してください。従来のニューラルネットワークが、映画の前の出来事についての推論を後のものに教えるためにどのように使用できるかは不明です。 リ

    LSTMネットワークの概要 - Qiita
  • BESOM(ビーソム)ブログ LSTM 、ちょっとだけ理解を試みる

    BESOM(ビーソム)は、ベイジアンネットを用いて大脳皮質の情報処理を再現する機械学習アルゴリズムです。BESOMに関連する研究者向けの情報発信をしていきます。(内容は個人の意見であり所属する組織の見解ではありません。) 時系列データを学習するニューラルネットの一種、 LSTM について、 ちょっとだけ理解しようと試みたので、自分用のメモをここに書いておきます。 「Long Short-Term Memory in Recurrent Neural Networks」 http://www.felixgers.de/papers/phd.pdf ドイツ Hannover 大、 FELIX GERS の Thesis, 2001 。 p.11 に「従来の(初期の)LSTM」の全体像が書かれている。 が、メモリブロックが1つに省略されているので全体像が分かりにくい。 (RNNの中間層の各ユニッ

  • 1