シンプルなRNN/LSTMだけでまともな文章はできない - studylog/北の雲「プログラムが自動で文章を生成する」 昔からこれにロマンを感じてる。 やってて面白い。 暇つぶしになるし、副次的に色んなことの勉強になるし、もしかしたらいつかいいプログラムが作れてお金になるかもしれない、なんてぼーっと考えてる。 今年に入ってからNN/深層学習を少しかじり出したのでRNN/LSTMで挑戦中。楽しい。 でも実際はなかなかまともな文なんて出来やしない。 前の文字列or単語のみを素性としてRNN/LSTMに与えて学習させるだけのモデルでは、まずまともな文が出てこないという結論に至った。どんだけテキストを増やしても、どんだけ学習回数を増やしても無駄っぽい。 この場合の「まともな文」の定義だけど、 1.文法が正しい (○明日はとても暑い ×明日にが暑い) 2.意味が通る (○今日はトマトを食べた ×今日はトマトが走る) 1と2をどちらも同時に満たすのが「まともな文」だと定義づければ、
