リカレントニューラルネットなぜ強い？ - 武蔵野日記

午前中は言語学習支援・機械翻訳の進捗報告。それぞれ新しい研究で各自色々自分で進めているので、話を聞くのは楽しいのだが、年内に実験結果が出るのか？ という不安がそこはかとなくある。本当は、こんな締め切りに追われるような感じではなく、ゆっくりできるといいと思うのだが、締め切りに追われている方が進むという不思議（いや、あまり不思議ではないか）。 お昼は論文紹介。 Tang et al. Document Modeling with Gated Recurrent Neural Network for Sentiment Classification. EMNLP 2015. を紹介してもらう。感情極性分析では、頑張って素性エンジニアリングした SVM と、適当に作った畳み込みニューラルネットワークが同じくらいの性能になるらしいのだが、リカレントニューラルネットワーク（普通の RNN から、LST