RNNで「てにをは」を校正する - にほんごのれんしゅう
RNNで「てにをは」を校正する 余談 2017/3/19に、どの深層学習フレームワークがこれから深層学習を始める人におすすめなのかというアンケートをtwitterで取らせていただきました。 五位 Theano(個別カウント) はじめに RNNによる文章校正がリクルートによって提案されて以来、調査タスクとして私のものとに来たりして、「できるんでしょう？」とか軽く言われるけど、実際には簡単にはできません。 RNNによる文章生成ができるから、校正もできるというのが人間の自然な発想なのかもしれませんが、英語と日本語の違いに着目した場合、英語がアルファベットのみで構築されるのに比べて日本語は、漢字・ひらがな・カタカナと非常に多く、同じように問題を適応すると、すごい高次元の問題を解くこととなり、理想的なパフォーマンスになかなかなりません。 まぁ、あんまり完成してるわけでない技術を完成したようにプレスリ
教師なしRNNによる連続した不完全情報（主にテキスト）の補完 - にほんごのれんしゅう
教師なしRNNによる連続した不完全情報（主にテキスト）の補完 背景 Google（や、過去の私のブログの投稿）などで低解像度の映像を高解像度化する方法は、GANを使うことでわりとうまくいきました。 テキストにも同じような問題が適応できるのかって思うことがあります。RNNはすでに記述されている文字をヒントとして次の文字を予想することができます。 その特性を利用して、情報が失われたテキストから復元を試みる例を示します。 (また、戦時中の戦艦に乗っていた搭乗員の劣化した手記から情報を復元したいという思いがあります。手記の海水に沈み腐敗が進んでいたり、筆記が乱れていて解析が困難であったりという点を補完できれば良いと思います。彼らの思い、可能な限り現代に蘇らせたいと思います。) 先行研究 今回は見当たらない（ほんとに存在しないんだったら、論文出したい） 手法 RNNで欠落した連続する情報を周辺の単語
CNNを利用した自然言語処理技術まとめ（2017年1月） - 終末 A.I.
年末に Language Modeling with Gated Convolutional Networks が一部界隈でバズったこともあり、CNNを用いた自然言語処理が注目を集め始めています。今年の後半あたりには、派生手法や関連手法が多く登場していくのではないかと思われます。 CNNはRNNに比べて並列処理に優れているため、処理速度が圧倒的に速いという利点がありますが、時系列データの処理に特化したRNNと比べると、特に言語モデルにおいては最終性能がやや劣っているという理解が一般的でした（テキストクラシフィケーションではタスクによってはCNNのほうが性能がいいものもありました）。 Gated Convolutional Networks では、Gated Linear Unit および Residual 層を利用し学習を効率化することにより、WikiText-103 のタスクで stat
深層リカレントニューラルネットワークを用いた日本語述語項構造解析
既存の日本語述語項構造解析では，形態素解析や構文解析を行い，それらの情報に基づいて各述語の項を予測していた．しかし，パイプライン処理に起因する誤り伝搬や，人手による素性設計コストの上昇などが問題点となっている．本研究では，深層リカレントニューラルネットワークを利用し，単語などの表層情報のみを用いて述語項構造解析を行う手法を提案する. また，複数の述語を同時に考慮して述語構造解析の精度を向上させるために，述語ごとのモデルをグリッド上に連結した深層リカレントグリッドモデルを提案する．NAIST テキストコーパスを用いた実験の結果，これまでに報告されている最先端の日本語述語項構造解析器の精度を上回ることを確認した．Read less
A Neural Network for Machine Translation, at Production Scale
Posted by Quoc V. Le & Mike Schuster, Research Scientists, Google Brain Team Ten years ago, we announced the launch of Google Translate, together with the use of Phrase-Based Machine Translation as the key algorithm behind this service. Since then, rapid advances in machine intelligence have improved our speech recognition and image recognition capabilities, but improving machine translation remai
DeepIntent: Learning Attentions for Online Advertising with Recurrent Neural Networks (KDD 2016) 読んだ - 糞糞糞ネット弁慶
DeepIntent: Learning Attentions for Online Advertising with Recurrent Neural Networks 入力された検索クエリに対して最も適切な文言の広告を出すタスク． 検索クエリおよび広告を単語の系列データとして， RNN などにもとづく neural network に通して適当な空間に写像し，その空間上でのクエリ/広告の内積を計算し，その値がクリックされたペアであれば大きくなるようにする． モデル 個の単語 から検索クエリ が構成されており，総単語数は であるとする．この時各単語を one-hot-encoding するとクエリは の行列になる． 各単語 を 次元に word embedding し， とする．これにより，行列は となる． 続いて，各単語の埋め込み について bidirectional RNN (BRN
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
