新たなRNNと自然言語処理 - こんな夢を見た
先月のとある勉強会で使ったスライドを今更ながら貼ります。 そこそこの「seq2seqやAttentionほどは脚光を浴びていない、RNNの基礎部分の改良や知見」を載せることを趣旨にしています。 口頭のみでの説明も多かったり、読み込みが浅かったり、量重視だったりして、スライドの各説明は特に詳しくないです。まだまだ十分に検証されていないことや納得しきれない（論文著者の）言明も多々ありますので、読む際は、ふわふわと話半分に小耳に挟むくらいがちょうどいっか〜と思って読んでください。 新たなRNNと自然言語処理 from hytae 需要と質はさておき英語版もあります。 Recent Progress in RNN and NLP from hytae
ディープラーニングチュートリアル 応用編
Transcript 1. 大規模データから単語の 意味表現学習-word2vec ボレガラ ダヌシカ 博士(情報理工学) 英国リバープール大学計算機科学科准教授 2. 2 2005 2008~10 学部 修士 博士 助教/講師 東京大学 工学部 東京大学大学院情報理工学系 文書自動要約における 重要文順序学習 同姓同名抽出 別名抽出 属性類似性計測 関係類似性計測 評判分類の分野適応 関係抽出の分野適応 進化計算を用いたWeb 検索結果順序学習 ソーシャルネットワーク の関係予測 対話型協調 Web検索エンジン 潜在関係検索 エンジン 自己紹介 専門分野：自然言語処理, 機械学習,データマイニング 2006~07 2010~13 2010~現在 准教授 リバープール大学 深層学習 3. 今回の講演の背景 •深層学習に関する活動 •2014年9月に深層学習のチュートリアルをCyberAge
Deep Learningと自然言語処理 - Preferred Networks Tech Blog
クリスマスイブの夜は男三人しかいないオフィスで関数型言語の素晴らしさについて語っていた西鳥羽です。こんにちは。 昨日のPFIセミナーで「Deep Learningと自然言語処理」というタイトルで発表させていただきました。以下がその時の資料です。 この辺りに興味を持たれた方は今度の1月20日に「NIPS 2014 読み会」http://connpass.com/event/10568/ もどうぞ。残り枠数少ないので申し込みはお早めに。 本当はBoltzmann Machine, Deep Belief Network, Auto Encoder, Stacked Auto EncoderなどのDeep Learningの歴史的なところも説明したかったのですが端折ってしまいました。Deep Learningそのものの説明も含めて以下の資料が参考になります。 http://ci.nii.ac.j
PFIセミナーで生成語彙論についてDeep Learningの文脈で話をしました
先週のPFIセミナーで生成語彙論とDeep Learning（特に表現学習の領域）の関係について、思っていることを話しました。前半は生成語彙論の入門的な内容で、数式もなくてだれでも読めるような内容になっていると思います。生成語彙論の勉強を始めたのが最近なので、入門という程の内容にもなってないですが、こうした言語学の知見をもう一度紐解くと面白いかもしれません。 発表中にあまりちゃんと話さなかったことをちょっと書いておきます。2012年あたりから、Socherが既存のNLPタスクにバシバシ一連の手法を試していました。私もその辺りで初めて深層学習の話を聞いたわけですが、ちょうど構文解析をnon-terminalのところで表現ベクトルを使うという話がありました。これに対して、「素性構造のような複雑な構造と演算を、ベクトル空間と非線形関数の中に埋め込んでいることになるのでは」という感想を、宮尾さん（
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Chainerの使い方と自然言語処理への応用
