Attention and Augmented Recurrent Neural Networks
Recurrent neural networks are one of the staples of deep learning, allowing neural networks to work with sequences of data like text, audio and video. They can be used to boil a sequence down into a high-level understanding, to annotate sequences, and even to generate new sequences from scratch! x0 y0 x1 y1 x2 y2 x3 y3 One cell... can be used over... and over... and over... x4 y4 again. The basic
リカレントニューラルネットワークの理不尽な効力（翻訳） - Qiita
Andrej Karpathy 氏のブログ記事 http://karpathy.github.io/2015/05/21/rnn-effectiveness/ の翻訳です。 翻訳の誤りなどあればご指摘お待ちしております。 リカレントニューラルネットワークには何か魔法のようなところがあります。画像説明（Image Captioning）のために初めてリカレントニューラルネットワークの訓練をした時のことを、私はまだ覚えています。わずか数十分間の訓練で、最初のベイビーモデル（適当に選んだハイパーパラメータを持つ）は、意味を成すのかどうかという画像について、すばらしい説明を生み出し始めました。モデルの単純さの割に結果の品質は、時に、それまでの予想を打ち砕きますが、これがその時でした。当時この結果がとても衝撃的だったのは、一般的に RNN は訓練することが難しいと思われていたためでした（より多くの経
リカレントニューラルネットワークによる時系列の生成（人工知能が美術や音楽を作るMagenta 翻訳①） - Qiita
はじめに この記事は、GoogleのMagentaプロジェクトのドキュメント "Generating Sequences With Recurrent Neural Networks"（David Ha)の翻訳です。 このドキュメントは、Alex Graves氏による同名の論文のレビュー記事であり、 Apache License, Version 2.0で配布されている成果物です。 Google Brainはディープラーニングにより、美術や音楽を生成するプロジェクトMagentaを立ち上げました。Magentaの目的の1つは、プロジェクトの研究を紹介することでもあり、いくつかの論文のレビュー記事を公開しています。 リカレントニューラルネットワーク(RNN)は時系列データと相性の良いニューラルネットワークで、GoogleのプロジェクトMagentaでも、作曲をするモデルとして使われています。
RNNにsin波を学習させて予測してみた：ハイパーパラメータ調整編 - Qiita
2. ソースコード、ノートブック 学習・予測に使用したソースコード、学習データを生成したノートブック、結果のチャート化に使用したノートブックなどは、GitHubで公開しています。 具体的なソースコード、値などはそちらを参照ください。 3. ハイパーパラメータの調整 3.1. num_of_hidden_nodes: 隠れ層のノード数 隠れ層のノード数を1〜4と変化させた場合の予測結果、損失関数のチャートを以下に示します。 隠れ層のノード数が1の場合、まったく予測できていない事がわかります。また、隠れ層のノード数が多ければ、必ずしもよい結果を得られるわけでもなさそうです。 損失関数のチャートを見てみると、隠れ層のノード数が多いほど、最終的な損失は少なくなっています。 No 隠れ層のノード数 学習・予測時間
ChainerとRNNと機械翻訳 - Qiita
自然言語処理とニューラルネット ここ数年で、自然言語処理の分野でもニューラルネットが非常に頻繁に使われるようになってきました。 自然言語処理で主に解析対象となるのは単語の配列や構文木などで、これらの内包する情報を表現するためにrecurrent neural network1やrecursive neural network1などに基づくモデルが頻繁に使われます。これらの最大の特徴はニューラルネットがある種のデータ構造を持っているという点で、1レイヤあたりのノードはそれほど多くない代わりにネットワークの接続が複雑で、しかも入力されるデータごとにネットワークそのものの形状が変化するという特徴があります。このため、伝統的なfeedforward neural networkを前提としたツールキットでは構築が難しいという問題がありました。 Chainerは、そのような問題を概ね解決してしまう強力
ニューラルネットワークで時系列データの予測を行う - Qiita
Hopfield networkは、一般的なクラス分類以外に最適化問題への応用が可能なモデルです。 Elman/Jordanは、Simple recurrent networksと言われているように一番シンプルな形となっています。RNNを利用したい場合はまずどちらかでやってみて、精度的な問題があるのなら他の手法に切り替えてみる、というのがよいのではないかと思います。 Elman/Jordanの違いは上記のとおりですが(前回データの反映が隠れ層から行われるか、出力層から行われるか)、こちらにも詳しく書かれています。精度的な優劣はありませんが、隠れ層の数によって次に伝播する量を変化させられるElmanの方が柔軟と言えると思います。 Echo state networkは毛色が違ったモデルで、ノードを事前に結合せずReservoir(貯水池などの意味)と呼ばれるプールに貯めておき、入力が与えられ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
