タグ

ブックマーク / studylog.hateblo.jp (2)

  • シンプルなRNN/LSTMだけでまともな文章はできない - studylog/北の雲

    「プログラムが自動で文章を生成する」 昔からこれにロマンを感じてる。 やってて面白い。 暇つぶしになるし、副次的に色んなことの勉強になるし、もしかしたらいつかいいプログラムが作れてお金になるかもしれない、なんてぼーっと考えてる。 今年に入ってからNN/深層学習を少しかじり出したのでRNN/LSTMで挑戦中。楽しい。 でも実際はなかなかまともな文なんて出来やしない。 前の文字列or単語のみを素性としてRNN/LSTMに与えて学習させるだけのモデルでは、まずまともな文が出てこないという結論に至った。どんだけテキストを増やしても、どんだけ学習回数を増やしても無駄っぽい。 この場合の「まともな文」の定義だけど、 1.文法が正しい (○明日はとても暑い ×明日にが暑い) 2.意味が通る (○今日はトマトべた ×今日はトマトが走る) 1と2をどちらも同時に満たすのが「まともな文」だと定義づければ、

    シンプルなRNN/LSTMだけでまともな文章はできない - studylog/北の雲
    teddy-g
    teddy-g 2016/12/08
    コンテキストの生成なくして文章の生成は無理じゃないのかな。状態空間モデルみたいなのを 多段で重ねるのが必要だと思うんだけど。
  • chainerのサンプルコードを集めてみた(チュートリアルも追加) - studylog/北の雲

    (2016.1.21追記)最近あまりメンテナンスしてないので1.5以上のバージョンを使ってる人には役に立たなくなったかもしれません。 (2015.12.15追記)当初はサンプルコードにリンクを貼っただけの記事でしたがチュートリアル等も含めたものに加筆中。また古くなった情報は順次削除・更新してます。 バージョンごとの互換性など こっちに移しました。1.5以上を強くお勧めします。 chainerのバージョンごとの違い(2016年1月19日現在) - studylog/北の雲 1.0 1.1 1.2 黎明期バージョン 1.3 1.4 CuPy導入 1.5 1.6 色々とパワーアップした現世代 概要・チュートリアル 概要を掴むのに適したスライド 1.5以上から始めるならこちら。 Chainerチュートリアル -v1.5向け- ViEW2015 内容は重複していますが1.4以前のバージョン時代のチュ

    chainerのサンプルコードを集めてみた(チュートリアルも追加) - studylog/北の雲
    teddy-g
    teddy-g 2016/08/22
    Chainerのお試し色々。
  • 1