タグ

ブックマーク / studylog.hateblo.jp (2)

  • シンプルなRNN/LSTMだけでまともな文章はできない - studylog/北の雲

    「プログラムが自動で文章を生成する」 昔からこれにロマンを感じてる。 やってて面白い。 暇つぶしになるし、副次的に色んなことの勉強になるし、もしかしたらいつかいいプログラムが作れてお金になるかもしれない、なんてぼーっと考えてる。 今年に入ってからNN/深層学習を少しかじり出したのでRNN/LSTMで挑戦中。楽しい。 でも実際はなかなかまともな文なんて出来やしない。 前の文字列or単語のみを素性としてRNN/LSTMに与えて学習させるだけのモデルでは、まずまともな文が出てこないという結論に至った。どんだけテキストを増やしても、どんだけ学習回数を増やしても無駄っぽい。 この場合の「まともな文」の定義だけど、 1.文法が正しい (○明日はとても暑い ×明日にが暑い) 2.意味が通る (○今日はトマトべた ×今日はトマトが走る) 1と2をどちらも同時に満たすのが「まともな文」だと定義づければ、

    シンプルなRNN/LSTMだけでまともな文章はできない - studylog/北の雲
    tuki0918
    tuki0918 2017/04/13
  • KerasがTensorFlow本体に統合される? - studylog/北の雲

    TensorFlowをバックエンドとして使用しており、PythonDeepLearningライブラリとしては頭5つぐらい抜け出している感じのあったKerasですが、TensorFlow体に取り込まれる?動きがあるようです。TensorFlow/Keras人気はさらに加速して他のライブラリを寄せ付けないでしょう。 自分が使いやすいライブラリを使えばいいと思いますし各ライブラリごとにいい所はあるので多様性万歳ではあるんですが、TensorFlow体にKeras由来の使いやすいAPIが統合されちゃうと、DeepLearningライブラリのシェア争いという観点ではほぼ勝負あったかなという感じがします。 以下ソースなど。fcholletさんはKerasの開発者でGoogleにお勤めの人です。 @rbhar90 @tensorflow we will be integrating Keras (

    KerasがTensorFlow本体に統合される? - studylog/北の雲
    tuki0918
    tuki0918 2017/01/17
  • 1