タグ

2016年12月13日のブックマーク (3件)

  • LSTMを超える期待の新星、QRNN - Qiita

    RNN「これってもしかして」 CNN「わたしたちのモデルが・・・」 「「入れ替わってる~~~!?」」 というわけでQRNN、QUASI-RECURRENT NEURAL NETWORKSとは、RNNの機構をCNNで「疑似的(QUASI)に」実装するというモデルです。これにより、既存のRNN(というかLSTM)が抱えていたいくつかの問題の解決を試みています。 元論文は以下となります。 QUASI-RECURRENT NEURAL NETWORKS 作者によるブログ 作者の方のブログにChainerのサンプルコードがあったので、それを元にTensorFlowで実装してみました。早く動かしたい!という方はこちらを見てみてください。 icoxfog417/tensorflow_qrnn (Starを頂ければ励みになります m(_ _)m) 記事では、この研究のモチベーションとそのアプローチについ

    LSTMを超える期待の新星、QRNN - Qiita
    masatoi
    masatoi 2016/12/13
    それで実際どれくらいLSTMより速くなるかというと1.5倍くらいらしい
  • すべてがMFになる - Fire and Motion

    すべてがFになる,映像化するみたいですね.犀川創平も西之園萌絵も配役がイメージと違って一部で話題になっていました.さて,最近テンソル分解を使った論文をよく見かけるのですが,いまだにきちんと整理できずにいます.テンソルかわいいよ,テンソル. そこで,まずは行列分解(matrix factorization, matrix decomposition)を整理してみようと思います.行列の分解手法というと線形代数的な観点からは簡単に思いつくだけでも 固有値分解 LU分解 コレスキー分解 などがありますが,これらは分解前の行列と分解後の行列が一致する(たとえばA=LU)方法です.一方で,機械学習やデータマイニング界隈(特にレコメンデーション等)で出てくる行列分解というのは,大規模データや関係性データの中から低ランクの構造を抽出することや次元圧縮を目的としています.なので,正確に言うならば,行列分解と

    すべてがMFになる - Fire and Motion
    masatoi
    masatoi 2016/12/13
  • 確率モデルを用いたテンソル因子化法の拡張に関するサーベイ Survey of Probabilitic Tensor Factorization Methods 林 浩平 1∗ 池田 和司 1 Kohei Hayashi1 Kazushi Ikeda1 1 奈良先端科学技術大学院大学 1 Nara Instit

    確率モデルを用いたテンソル因子化法の拡張に関するサーベイ Survey of Probabilitic Tensor Factorization Methods 林 浩平 1∗ 池田 和司 1 Kohei Hayashi1 Kazushi Ikeda1 1 奈良先端科学技術大学院大学 1 Nara Institute of Science and Technology Abstract: This survey focuses on tensor factorization methods based on stochastic models. They are natural extensions of the conventional methods to Bayesian statistics and are easier to introduce prior knowledge.

    masatoi
    masatoi 2016/12/13