メモリを操作するRNNでソートアルゴリズム（可変長＆順序フラグあり）を機械学習できたよっ！ - Qiita
微分可能な神経機械？ Google DeepMindがNatureに投稿した論文「Hybrid computing using a neural network with dynamic external memory」が、なんだかヤバそうな香りがします。 公式の紹介記事「Differentiable neural computers」では、プラトンの記憶論から話が始まりますし、論文では脳の記憶を司る海馬に喩えていたりして、なかなか格調高いです。単なるニューラルネットワークの性能改善に留まらず、哲学や神経科学の観点からも理想の人工知能に一歩近づくことができたよ、これは新しいコンピュータの在り方の発明なのではないか、という気概が感じられます。 仕組みとしては流行りのAttentionという概念が入っていて、メモリを表す行列と、それを選択的に操作しながらベクトルを入出力するコントローラがありま
リカレントニューラルネットワークの理不尽な効力（翻訳） - Qiita
Andrej Karpathy 氏のブログ記事 http://karpathy.github.io/2015/05/21/rnn-effectiveness/ の翻訳です。 翻訳の誤りなどあればご指摘お待ちしております。 リカレントニューラルネットワークには何か魔法のようなところがあります。画像説明（Image Captioning）のために初めてリカレントニューラルネットワークの訓練をした時のことを、私はまだ覚えています。わずか数十分間の訓練で、最初のベイビーモデル（適当に選んだハイパーパラメータを持つ）は、意味を成すのかどうかという画像について、すばらしい説明を生み出し始めました。モデルの単純さの割に結果の品質は、時に、それまでの予想を打ち砕きますが、これがその時でした。当時この結果がとても衝撃的だったのは、一般的に RNN は訓練することが難しいと思われていたためでした（より多くの経
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
