LSTMを超える期待の新星、QRNN - Qiita
RNN「これってもしかして」 CNN「わたしたちのモデルが・・・」 「「入れ替わってる～～～！？」」 というわけでQRNN、QUASI-RECURRENT NEURAL NETWORKSとは、RNNの機構をCNNで「疑似的(QUASI)に」実装するというモデルです。これにより、既存のRNN(というかLSTM)が抱えていたいくつかの問題の解決を試みています。 元論文は以下となります。 QUASI-RECURRENT NEURAL NETWORKS 作者によるブログ 作者の方のブログにChainerのサンプルコードがあったので、それを元にTensorFlowで実装してみました。早く動かしたい！という方はこちらを見てみてください。 icoxfog417/tensorflow_qrnn (Starを頂ければ励みになります m(_ _)m) 本記事では、この研究のモチベーションとそのアプローチについ
自然言語処理における、Attentionの耐えられない短さ - Qiita
「あなたって、私の言葉の最後の方しか聞いてないのね」 実は人間だけでなくニューラルネットワークもそうだった、という結果を示しているのがこちらの論文です。 Frustratingly Short Attention Spans in Neural Language Modeling 言い訳としては「だって君の次の言葉を予測するだけならそれで十分だから」ということになるんですが、そう言うと角が立つのは人間関係においても研究においても同様のようです。 本編は、上記の論文の紹介と共に他の関連論文も交えながら、実際の所本当に最後の方しか必要ないのか、そうであればなぜそんなことになるのか、という所について見て行ければと思います。 なお、参照した論文は以下のGitHubで管理しています。日々更新されているため、研究動向が気になる方は是非Star&Watchをして頂ければと！。 arXivTimes At
RNN：時系列データを扱うRecurrent Neural Networksとは
Recurrent Neural Networksとは何か RNNの応用事例 機械翻訳 音声認識 画像の概要生成 説明文からの画像生成 知っておくと便利なRNNの種類と進化 Simple RNN LSTM GRU Bi-directional RNN Attention RNN Quasi-Recurrent Neural Network TensorFlowによるRNNの実装 まとめ 参考文献 人間は、目の前で起きた出来事から、次に起こりそうな出来事を予測しながら文脈を読んで判断を下すことができます。例えば、車を運転している際に歩行者が飛び出しそうだと思えば、十分な間隔を置いて走行することが出来るでしょう。 また、現実世界は時間の制約を受ける事象はたくさんあります。アニメーションなどのストーリーでは、前回の文脈を前提として次の展開が進んでいきます。 Recurrent Neural Ne
ビームサーチの基礎知識と機械学習への3つの活用事例
深さ優先探索と幅優先探索 深さ優先探索 幅優先探索 ビームサーチ 機械学習への応用 Google Alloの返答 学習時にビームサーチの幅を持たせて学習 3D形状の学習への応用 まとめ 参考文献 ビームサーチ（Beam Search）は、探索アルゴリズムの一種でメモリをそれほど必要としない最良優先探索です。 機械学習の分野でも、翻訳やチャットボットの返答などに応用されています。本記事では、ビームサーチのアルゴリズムを理解してどのように応用されているのかを解説します。 機械学習を活用したシステムを構築する際にも、探索空間が広い場合などには応用可能なので、使いこなせるようにしておくと役に立ちます。 深さ優先探索と幅優先探索 いきなりビームサーチの解説に入る前に、理解しやすいようにグラフ探索アルゴリズムを紹介します。 深さ優先探索 深さ優先探索は、その名の通り可能な限り突き進んで、行けなくなった
教師なしRNNによる連続した不完全情報（主にテキスト）の補完 - にほんごのれんしゅう
教師なしRNNによる連続した不完全情報（主にテキスト）の補完 背景 Google（や、過去の私のブログの投稿）などで低解像度の映像を高解像度化する方法は、GANを使うことでわりとうまくいきました。 テキストにも同じような問題が適応できるのかって思うことがあります。RNNはすでに記述されている文字をヒントとして次の文字を予想することができます。 その特性を利用して、情報が失われたテキストから復元を試みる例を示します。 (また、戦時中の戦艦に乗っていた搭乗員の劣化した手記から情報を復元したいという思いがあります。手記の海水に沈み腐敗が進んでいたり、筆記が乱れていて解析が困難であったりという点を補完できれば良いと思います。彼らの思い、可能な限り現代に蘇らせたいと思います。) 先行研究 今回は見当たらない（ほんとに存在しないんだったら、論文出したい） 手法 RNNで欠落した連続する情報を周辺の単語
深層学習による自然言語処理 - RNN, LSTM, ニューラル機械翻訳の理論
本稿ではニューラルネットワーク，誤差逆伝播法，言語モデル，RNN，LSTM，ニューラル機械翻訳の一連の手法について数理的に解説する． 前編の目次 ニューラルネットワーク 順伝播 (Forwardpropagation) 逆伝播 (Backpropagation) リカレントニューラルネットワーク (RNN) Recurrent Neural Network Language Model (RNNLM) Backpropagation Through Time (BPTT) Long Short-Term Memory (LSTM) Gated Recurrent Unit (GRU) RNN のドロップアウトとバッチ正規化 ニューラル機械翻訳 (NMT) Sequence to Sequence (seq2seq) 注意 (Attention) 双方向エンコーダー・多層LSTM 評価手法
今年(2016)参考にさせてもらったChainerの論文実装、サンプルコード集 - studylog/北の雲
去年書いたサンプルコード集の2016年版です。 個人的な興味範囲のみ集めているので網羅的では無いとは思います。 基本的に上の方が新しいコードです。 QRNN(Quasi-Recurrent Neural Networks) 論文ではchainerを使って実験しており、普通のLSTMはもちろんcuDNNを使ったLSTMよりも高速らしい。 一番下にchainer実装コードが埋め込まれている。 New neural network building block allows faster and more accurate text understanding [1611.01576] Quasi-Recurrent Neural Networks Softmaxなどに要している時間を除き純粋にRNN部だけで比較すると相当速くなっているのがわかる。 このように実験でchainerが使われている研
JUMAN++ - LANGUAGE MEDIA PROCESSING LAB
日本語形態素解析システム Juman++ † Juman++は言語モデルを利用した高性能な形態素解析システムです．言語モデルとして Recurrent Neural Network Language Model (RNNLM) を用いることにより，単語の並びの意味的な自然さを考慮した解析を行います．それにより JUMAN，MeCab に比べ大きく性能が向上しています．文法・辞書・出力フォーマット等は JUMAN から引き継いだものを利用しています．本システムは CREST「知識に基づく構造的言語処理の確立と知識インフラの構築」の支援により開発されました． ↑ 使用方法 † たとえば，次のようなテキストを入力すると， % cat sample.txt 外国人参政権 私もあさって日曜最終日 以下の解析結果が得られます． % cat sample.txt | jumanpp 外国 がいこく 外国
A Neural Network for Machine Translation, at Production Scale
Posted by Quoc V. Le & Mike Schuster, Research Scientists, Google Brain Team Ten years ago, we announced the launch of Google Translate, together with the use of Phrase-Based Machine Translation as the key algorithm behind this service. Since then, rapid advances in machine intelligence have improved our speech recognition and image recognition capabilities, but improving machine translation remai
Supervised Sequence Labelling with Recurrent Neural Networks - reading
LTI @ Carnegie Mellon University Supervised Sequence Labelling with Recurrent Neural Networks Kazuya Kawakami Alex Graves, Ph.D Thesis (2008) Chapter 4 to Chapter 7 LTI @ Carnegie Mellon University Recurrent Neural Networks • Benefit of Recurrent Networks - Learning representations of contextual information of sequence. • Limitations of RNNs - The range of accessible context is limited. (Vanish
リカレントニューラルネットワークの理不尽な効力（翻訳） - Qiita
Andrej Karpathy 氏のブログ記事 http://karpathy.github.io/2015/05/21/rnn-effectiveness/ の翻訳です。 翻訳の誤りなどあればご指摘お待ちしております。 リカレントニューラルネットワークには何か魔法のようなところがあります。画像説明（Image Captioning）のために初めてリカレントニューラルネットワークの訓練をした時のことを、私はまだ覚えています。わずか数十分間の訓練で、最初のベイビーモデル（適当に選んだハイパーパラメータを持つ）は、意味を成すのかどうかという画像について、すばらしい説明を生み出し始めました。モデルの単純さの割に結果の品質は、時に、それまでの予想を打ち砕きますが、これがその時でした。当時この結果がとても衝撃的だったのは、一般的に RNN は訓練することが難しいと思われていたためでした（より多くの経
Pythonコードを使用して、Pythonコードを書く方法を人工知能に学習させる | POSTD
ここでは少しの間、自律走行車のことは忘れてください。物事は深刻になってきています。この記事では、独自のコードを書くマシンを作ることに的を絞って話を進めていきたいと思います。 GlaDoS Skynet Spynetを使用します。 具体的に言うと、Pythonのソースコードを入力することで、自分でコードを書くように、文字レベルでのLong Short Term Memoryニューラルネットワークを訓練していきます。この学習は、TheanoとLasagneを使って、EC2のGPUインスタンス上で起動させます。説明が曖昧かもしれませんが、分かりやすく説明できるように頑張ってみます。 この試みは、 こちらの素晴らしいブログ記事 に触発され行うに至りました。皆さんもぜひ読んでみてください。 私はディープラーニングのエキスパートではありませんし、TheanoやGPUコンピューティングを扱うのも初めてで
Supervised Sequence Labelling with Recurrent Neural Networks - Alex Graves
Technische Universit¨at M¨unchen Fakult¨at f¨ur Informatik Lehrstuhl VI: Echtzeitsysteme und Robotik Supervised Sequence Labelling with Recurrent Neural Networks Alex Graves Vollst¨andiger Abdruck der von der Fakult¨at f¨ur Informatik der Technischen Universit¨at M¨unchen zur Erlangung des akademischen Grades eines Doktors der Naturwissenschaften (Dr. rer. nat.) genehmigten Dissertation. Vorsitze
論文紹介 Pixel Recurrent Neural Networks
第20回ステアラボ人工知能セミナー https://stair.connpass.com/event/109983/ 【講演動画】 https://youtu.be/Fgza_C6KphU 【講演タイトル】 機械学習モデルの判断根拠の説明 【講演概要】 本講演では、機械学習モデルの判断根拠を提示するための説明法について紹介する。高精度な認識・識別が可能な機械学習モデルは一般に非常に複雑な構造をしており、どのような基準で判断が下されているかを人間が窺い知ることは困難である。このようなモデルのブラックボックス性を解消するために、近年様々なモデルの説明法が研究・提案されてきている。本講演の前半ではまず近年の代表的な研究について紹介する。後半では、発表者の最近の研究として「ランダムフォレストの簡略化」と「モデル列挙」について紹介する。
ディープラーニングによる 自然言語処理 (技術編)
名古屋大学特別講義 2016年6月29日(水) ディープラーニングによる 自然言語処理 (技術編) 日本アイ・ビー・エム株式会社 東京基礎研究所 坪井 祐太 yutat@jp.ibm.com 1 ニューラルネットワーク技術詳細 • 目的関数 • 誤差関数 • 目的関数の最小化 • 勾配法 • 目的関数の微分計算 • 誤差逆伝搬法 • 誤差の分解と対処手法 • 推定誤差に効く手法 • 最適化誤差に効く手法 • RNNの話題 2 目的関数: 誤差 • 教師あり学習の目的関数 • 𝑥 ∈ 𝑋: 入力, 𝑦 ∈ 𝑌: 出力 • 入力xからyを予測したい問題設定 • 真の目的関数: 𝐿∗ 𝜃 = ∫𝑝 𝑥, 𝑦 ℓ𝜃 𝑥, 𝑦 𝑑𝑥𝑑𝑦 • ℓ𝜃は事例ごとの損失関数（後述） • 訓練データでの誤差 • データ分布p(x,y)は普通わからないので訓練データN個: D=
Structural-RNN: Deep Learning on Spatio-Temporal Graphs
Deep Recurrent Neural Network architectures, though remarkably capable at modeling sequences, lack an intuitive high-level spatio-temporal structure. That is while many problems in computer vision inherently have an underlying high-level structure and can benefit from it. Spatio-temporal graphs are a popular tool for imposing such high-level intuitions in the formulation of real world problems. In
On Multiplicative Integration with Recurrent Neural Networks
We introduce a general and simple structural design called Multiplicative Integration (MI) to improve recurrent neural networks (RNNs). MI changes the way in which information from difference sources flows and is integrated in the computational building block of an RNN, while introducing almost no extra parameters. The new structure can be easily embedded into many popular RNN models, including LS
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - guillaume-chevalier/LSTM-Human-Activity-Recognition: Human Activity Recognition example using TensorFlow on smartphone sensors dataset and an LSTM RNN. Classifying the type of movement amongst six activity categories - Guillaume Chevalier
再帰型ニューラルネット in 機械学習プロフェッショナルシリーズ輪読会
IBM Video Streaming
