Stanford CS 224N | Natural Language Processing with Deep Learning
Logistics Lectures: are on Tuesday/Thursday 4:30 PM - 5:50 PM Pacific Time in NVIDIA Auditorium. The lectures will also be livestreamed on Canvas via Panopto. Lecture videos for enrolled students: are posted on Canvas (requires login) shortly after each lecture ends. Unfortunately, it is not possible to make these videos viewable by non-enrolled students. Publicly available lecture videos and vers
今更聞けないLSTMの基本 - HELLO CYBERNETICS
ディープラーニングで畳込みニューラルネットに並ぶ重要な要素のであるLong Short-Term Memoryについて、その基本を解説します。 LSTMとは リカレントニューラルネットワーク LSTMの役割 LSTMの計算 Output Gate Input GateとForget Gate Forget Gate Input Gate LSTMの肝であるMemory Cell周辺 Forget Gate側の出来事 Input Gate側での出来事 Cellの手前での出来事 出力付近の話 LSTMの役割 セル付近の役割 Forget Gateが過去の情報をどれだけ保持するか決める 全体を通しての役割 最後に LSTMとは LSTMとはLong Short-Term Memoryの略です。 short-term memoryとは短期記憶のことであり、短期記憶を長期に渡って活用することを可能に
Convolutional Methods for Text
tl;drRNNS work great for text but convolutions can do it fasterAny part of a sentence can influence the semantics of a word. For that reason we want our network to see the entire input at onceGetting that big a receptive can make gradients vanish and our networks failWe can solve the vanishing gradient problem with DenseNets or Dilated ConvolutionsSometimes we need to generate text. We can use “de
Deep LearningとNLPの最新論文の情報を集める方法 - あおのたすのブログ
(5/29 追記：Deep Learning のGoogleグループコミュニティを追加) (6/8 追記：松尾研究室の勉強会ページを追加) (6/13 追記：neural language notesを追加) はじめまして。@aonotas（あおのたす）です。 Deep Learningと自然言語処理に興味があります。 好きなフレームワークはChainerです。 さて、Deep Learningが自然言語処理のタスクでも応用されています。 ACLやEMNLPなど国際会議でもタイトルに「Neural」が入ったものが多いですが、arxivにも査読前の論文がよくアップロードされています。 （スピードが早くて追いつくの大変ですよねorz） そこで最新のDeep Learningの論文の集め方を紹介したいと思います。（あくまで私個人の方法です。皆さんどうしてるか教えてもらえると嬉しいです。） 面白い
自然言語処理における畳み込みニューラルネットワークを理解する · けんごのお屋敷
最近、畳み込みニューラルネットワークを使ったテキスト分類の実験をしていて、知見が溜まってきたのでそれについて何か記事を書こうと思っていた時に、こんな記事をみつけました。 http://www.wildml.com/2015/11/understanding-convolutional-neural-networks-for-nlp 畳み込みニューラルネットワークを自然言語処理に適用する話なのですが、この記事、個人的にわかりやすいなと思ったので、著者に許可をもらって日本語に翻訳しました。なお、この記事を読むにあたっては、ニューラルネットワークに関する基礎知識程度は必要かと思われます。 ※日本語としてよりわかりやすく自然になるように、原文を直訳していない箇所もいくつかありますのでご了承ください。翻訳の致命的なミスなどありましたら、Twitterなどで指摘いただければすみやかに修正します。 以下
ディープ・ラーニングがぶつかった分厚い壁---最先端のAIでも、人間のように言葉を操ることはできない!（小林 雅一） @gendai_biz
ディープ・ラーニングがぶつかった分厚い壁---最先端のAIでも、人間のように言葉を操ることはできない! 先週のコラムでは、マイクロソフトが開発したAI女子高生を「りんな」を取り上げた。現在、その会話能力はお世辞にも高いとは言えないが、今後とも劇的に改善することは（少なくとも当面は）ないだろう、と述べた。 筆者がそう予想する理由は、「りんな」の基盤技術である最先端AI「ディープ・ラーニング」が今、分厚い壁にぶつかっているからだ。それを以下、説明していきたい。 「見て、聞くAI」は「言葉を操るAI」にも応用できるのか? ディープ・ラーニングは今までのところ「画像認識」や「音声認識」など、いわゆるパターン認識の分野で極めて高い性能を示している。この大きな理由の一つは、ディープ・ラーニングが本格的な脳科学の研究成果、中でも大脳の視覚・聴覚野などに共通する認識メカニズム「スパース・コーディング」を導
Text Understanding from Scratch
This article demontrates that we can apply deep learning to text understanding from character-level inputs all the way up to abstract text concepts, using temporal convolutional networks (ConvNets). We apply ConvNets to various large-scale datasets, including ontology classification, sentiment analysis, and text categorization. We show that temporal ConvNets can achieve astonishing performance wit
深層学習についてこの夏勉強してみたくなった - 武蔵野日記
午前2時半に起きて授業の資料を作成。育児支援休暇で1回授業を休講にしたので、その補講があるのだった。 今回いちばんホラーな点は、2限（10:30スタート）に授業があるのに当日の午前2時半で資料が1ページもできていないことで、しかも今回全く新規の内容を話す回にしていたことであった。最近あまり夢を見なくなったのだが、数カ月に1回見る悪夢は、翌日にいくつか授業をしないといけないのに、準備が全く終わっておらず、残り時間を考えると絶対全部間に合わない、というものである。それくらい、授業の準備というものにはプレッシャーがある。（90分、全く準備なしに、教えなければならない内容が決まっている授業を教えるのは難しい） とはいうものの、なんとか4時間くらいで40ページ弱のスライドを作成し、一安心。事前に頭の中では考えていたので、全く準備がないわけではなかったのも幸いしたが、こういう綱渡りは何度もやりたくない
自然言語処理まわりのDeep Learningを自分なりにまとめてみた — KiyuHub
自然言語処理まわりのDeep Learningを自分なりにまとめてみた “自然言語処理のためのDeep Learning”というスライドを公開しました． 自然言語処理のためのDeep Learning from Yuta Kikuchi カジュアルな感じで自然言語処理まわりのDeep Learningの話題をまとめた感じになっています． きっかけは，勉強会をしていることを知ったOBのbeatinaniwaさんにお願いされたことで， 株式会社Gunosyの勉強会の場で，発表の機会を頂きました． それが，9/11で，その後9/26に研究室内で同じ内容で発表しました． どちらも思った以上に好評を頂け，公開してはと進めて頂いたので，公開することにしました． もちろん間違いが含まれている可能性も多分にあるので．気づいた方はご指摘頂けると幸いです． 内容ざっくり 前半は，ニューラルネットワークを図を使
SENNA
SENNA is a software distributed under a non-commercial license, which outputs a host of Natural Language Processing (NLP) predictions: part-of-speech (POS) tags, chunking (CHK), name entity recognition (NER) and semantic role labeling (SRL). SENNA is fast because it uses a simple architecture, self-contained because it does not rely on the output of existing NLP system, and accurate because it off
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Deep Adversarial Learning for NLP
Deep Learning for NLP: Advancements & Trends