タグ

deeplearningとNLPに関するy___uのブックマーク (2)

  • 「深層学習による自然言語処理」を書きました

    5/25に,IBMの坪井さんと,NTTの鈴木さんと書いた「深層学習による自然言語処理」というタイトルのが発売されました. 特に昨年1年間は,土日や夜をかなり潰したので,ようやく発売されたなぁと感慨深いものがあります. 最終稿の直前で,図を差し替えたり,変な文が見つかったりしたので,まだ変な誤植があるかもしれませんし,読みにくいところもあると思います. の内容ですが,おおよそ2012年から2015年くらいの深層学習系の自然言語処理の流れをトレースしています. つまり,埋め込みベクトルの学習(word2vec),ニューラル言語モデル,符号化復号化モデル(encoder-decoder, sequence-to-sequence),注意機構(soft attention/hard attention)とその応用(attention encoder-decoder, memory networ

  • 自然言語処理のためのDeep Learning

    【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces This document summarizes a research paper on modeling long-range dependencies in sequence data using structured state space models and deep learning. The proposed S4 model (1) derives recurrent and convolutional representations of state space models, (2) improves long-term memory using HiPPO matrices, and (3) efficiently compu

    自然言語処理のためのDeep Learning
    y___u
    y___u 2016/10/20
    word2vecに至る前まででもう理解が追いついてない感
  • 1