タグ

LSTMに関するcantaloupeのブックマーク (3)

  • 自動文章生成AI(LSTM)に架空の歴史を作成させた方法とアルゴリズム

    ※サンプル・コード掲載 1.AIに文章を作らせる方法概要 架空の名前から架空の人物の歴史概要を作成させてみました。 やり方としては、wikipediaの人物の概要の部分を抜き出してRNNにトレーニングさせます。 そのトレーニングさせたモデルに対して名前を入力すると、その人物の概要を出力してくれるようにします。 RNNとは、Recurrent Neural Networksの略で、時系列の情報を学習させるためのニューラルネットワークのモデルのことです。 文章を生成させるようなモデルの場合、多層パーセプトロンのようなモデルだと出力の長さが一定になってしまい、うまく作ることができません。 そこでRNNを使い、入力が単語(文字)、出力が次の単語(文字)として学習させると、そのモデルに次々と出力された単語を入力させることによって文章が生成出来るようになります。 そして、RNNは内部の重みを入力によっ

    自動文章生成AI(LSTM)に架空の歴史を作成させた方法とアルゴリズム
  • 今更聞けないLSTMの基本 - HELLO CYBERNETICS

    ディープラーニングで畳込みニューラルネットに並ぶ重要な要素のであるLong Short-Term Memoryについて、その基を解説します。 LSTMとは リカレントニューラルネットワーク LSTMの役割 LSTMの計算 Output Gate Input GateとForget Gate Forget Gate Input Gate LSTMの肝であるMemory Cell周辺 Forget Gate側の出来事 Input Gate側での出来事 Cellの手前での出来事 出力付近の話 LSTMの役割 セル付近の役割 Forget Gateが過去の情報をどれだけ保持するか決める 全体を通しての役割 最後に LSTMとは LSTMとはLong Short-Term Memoryの略です。 short-term memoryとは短期記憶のことであり、短期記憶を長期に渡って活用することを可能に

    今更聞けないLSTMの基本 - HELLO CYBERNETICS
  • わかるLSTM ~ 最近の動向と共に - Qiita

    Machine Learning Advent Calendar 2015 第14日です。去年のAdvent Calendarで味をしめたので今年も書きました。質問、指摘等歓迎です。 この記事の目的 ここ2~3年のDeep Learningブームに合わせて、リカレントニューラルネットワークの一種であるLong short-term memory(LSTM)の存在感が増してきています。LSTMは現在Google Voiceの基盤技術をはじめとした最先端の分野でも利用されていますが、その登場は1995年とそのイメージとは裏腹に歴史のあるモデルでもあります。ところがLSTMについて使ってみた記事はあれど、詳しく解説された日語文献はあまり見当たらない。はて、どういうことでしょうか。 記事ではLSTMの基礎をさらいつつ、一体全体LSTMとは何者なのか、LSTMはどこに向かうのか、その中身をまとめ

    わかるLSTM ~ 最近の動向と共に - Qiita
  • 1