ニューラルネットワークが持つ欠陥「破滅的忘却」を回避するアルゴリズムをDeepMindが開発した論文を読んだ - Qiita
はじめに ニューラルネットワークが持つ欠陥「破滅的忘却」を回避するアルゴリズムをDeepMindが開発したらしいので、元論文を読んでみた。 Overcoming catastrophic forgetting in neural networks https://arxiv.org/abs/1612.00796 Introの最初から汎用人工知能とかいきなり出てくるのでおおっと思うが、やってることはめちゃくちゃシンプル 端的に言えば学習したニューラルネットのパラメータのそのタスクに対する重要度がフィッシャー情報行列で測れるよ 脳神経科学系の単語が結構出てくるので、専門家がいるのかな？とはいえこの背景は後付で、アルゴリズムが先なんじゃないかな… 元の論文では数式を端折っている箇所があるので、適宜補完しつつ、直感的解釈とかは勝手に入れている。論文の流れにはそこまで沿っていない 不正確・間違ってい
GoogleのAI開発を支えるディープラーニング専用プロセッサ「TPU」 - ISCA論文レビュー版から、その仕組みを読み解く
レポート GoogleのAI開発を支えるディープラーニング専用プロセッサ「TPU」 - ISCA論文レビュー版から、その仕組みを読み解く GoogleがISCA論文のレビュー版を公開 Google DeepMindのアルファ碁が、トッププロ棋士の韓国の李世乭(イ・セドル) 九段を破ったのは記憶に新しい。事前には李 9段の圧勝という予想であったが、これは半年ほど前に元ヨーロッパチャンピオンとの対局した時の棋譜を見ての予想である。しかし、アルファ碁は半年の間に格段に強くなっていた。 その秘密が、AIの推論の性能を大幅に向上させた、Googleの専用アクセラレータのTensor Processing Unit(TPU)である。TPUを大量に使うことにより、先読みが深くなり、大幅に強くなったと考えられる。 TPUの存在は、2016年5月のGoogle I/Oで明らかにされたが、その詳細は公表されて
Open-sourcing DeepMind Lab
Open source Open-sourcing DeepMind Lab Published 3 December 2016 Authors Charlie Beattie, Joel Leibo, Stig Petersen, Shane Legg DeepMind's scientific mission is to push the boundaries of AI, developing systems that can learn to solve any complex problem without needing to be taught how. To achieve this, we work from the premise that AI needs to be general. Agents should operate across a wide range
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
