Takayuki Uchiba on Twitter: "3層ニューラルネットワークの普遍性定理のはなし。関数解析の基本的な定理から、こんな面白いことが証明できる。数学楽しいよ！ https://t.co/jBFto4WBLa"3層ニューラルネットワークの普遍性定理のはなし。関数解析の基本的な定理から、こんな面白いことが証明できる。数学楽しいよ！ https://t.co/jBFto4WBLa
ニューラルチューリングマシン入門
[第３回分析コンペLT会 、オンライン開催] (https://kaggle-friends.connpass.com/event/220927/) での発表資料です。 画像コンペに出るうえで便利過ぎる timm(pytorch image models) の紹介をしました。
TensorFlow Playground でわかるニューラルネットワーク
この記事を読みニューラルネットワークに興味を持ち勉強を始めました。 ニューラルネットワークを目で見て直感的に理解できるのは素晴らしいですね。 半年以上も前の記事なのでコメントを読まれているか分かりませんが、お聞きしたいことがあります。 TensorFlow Playgroundの入力層のFeatureについて勉強をしているのですが、なぜ生の入力値(座標x,y)ではなく、Featureを間にかませているかその背景を教えていただきたいです。 というのも、MNISTのチュートリアル等では縦横28x28ピクセルの784個のアドレスのグレースケールの値を入力とし、入力層に784個のニューロンを並べている解説が 多く、TensorFlow Playgroundで行われているようなFeatureの選択がどこから出てきたものなのか分からないのです。 ちょっと宣伝のようになってしまいますが、自分の学習成果の
深層強化学習：ピクセルから『ポン』 – 前編 | POSTD
(訳注：2016/6/28、記事を修正いたしました。) 本記事は、もう随分と前から投稿したいと思っていた強化学習（RL）に関するものです。RLは盛り上がっています。皆さんも既にご存知のこととは思いますが、今やコンピュータは ATARI製ゲームのプレイ方法を自分で学習する ことができ（それも生のゲーム画像のピクセルから！）、 囲碁 の世界チャンピオンにも勝つことができます。シミュレーションの四肢動物は 走って飛び跳ねる ことを学習しますし、ロボットは明示的にプログラミングするのが難しいような 複雑な操作のタスク でも、その実行方法を学習してしまいます。こうした進歩はいずれも、RL研究が基となって実現しています。私自身も、ここ1年ほどでRLに興味を持つようになりました。これまで、 Richard Suttonの著書 で勉強し、 David Silverのコース を通読、 John Schulm
情報統計力学のすすめ
東京大学 松尾研究室が主催する深層強化学習サマースクールの講義で今井が使用した資料の公開版です． 強化学習の基礎的な概念や理論から最新の深層強化学習アルゴリズムまで解説しています．巻末には強化学習を勉強するにあたって有用な他資料への案内も載せました． 主に以下のような強化学習の概念やアルゴリズムの紹介をしています． ・マルコフ決定過程 ・ベルマン方程式 ・モデルフリー強化学習 ・モデルベース強化学習 ・TD学習 ・Q学習 ・SARSA ・適格度トレース ・関数近似 ・方策勾配法 ・方策勾配定理 ・DPG ・DDPG ・TRPO ・PPO ・SAC ・Actor-Critic ・DQN（Deep Q-Network） ・経験再生 ・Double DQN ・Prioritized Experience Replay ・Dueling Network ・Categorical DQN ・Nois
脳と情報の統計力学 - 岡田研究室
統計力学は, 気体の分子の運動のようなミクロ記述とボイル=シャルルの法則のようなマクロ記述とをつなぐ学問です. 統計力学を学ぶと, 我々はミクロからマクロへつながる階層的な構造が自然界のいたるところに存在することを意識し, 物理学の枠組みを超えて統計力学が活躍できるような気がしてきます. 例えば, 脳や情報にもミクロとマクロの階層性が存在します. 脳にある百億以上の神経細胞の活動から, 我々の意識や感情が生じています. 0 と 1 のビットがある種のルールに従って並ぶと, そのビット系列は画像や音声などの意味ある情報になります. これらを統計力学的に議論できる鍵はスピングラス・レプリカ法に代表されるランダムスピン系の統計力学にありました. ± 1 の二値状態を取る Ising スピンを脳の神経細胞の活動や情報のビットに対応させることで, 統計力学は脳の神経回路モデルや情報・通信理論の難問を
ボルツマンマシンの勉強中 - 工場統計力学（建設中！）
今日、英語版Wikipediaの「制限ボルツマンマシン」のページの翻訳を終えました。終えましたけれども、内容はよく理解出来ていません。それでも得るところはありました。ひとつは自分のボルツマンマシンの理解がかなり表面的であったことを自覚したことです。私はボルツマンマシンの元になったホップフィールド・ネットワークを勉強していた時、ホップフィールド・ネットワークのエネルギーの定義がいかにも取ってつけたような感じがして、これは別段エネルギーと見なす必要はなくてたとえばエントロピーと見なしてもいいではないか、などと思っていました。しかし、英語版Wikipediaの制限ボルツマンマシンのページに登場した の式を見た時に、おお、まさしく統計力学の式だ、と感じました。この式に出てくるは統計力学であればエネルギーが出てくる位置にあります。なぜ、こんなにうまくいくのだろう？ なぜ、統計力学との平行関係がこんな
ボルツマンマシン - Wikipedia
ボルツマンのグラフの一例。 各エッジ（線）は接続されたユニット同士の依存を意味する。この例では3つの不可視ユニット（hidden; 青）と4つの可視ユニット（visible; 白）がある。 ちなみにこの例は制約を持つボルツマンマシンではない。 ボルツマン・マシン（英: Boltzmann machine）は、1985年にジェフリー・ヒントンとテリー・セジュノスキー（英語版）によって開発された確率的（英語版）回帰結合型ニューラルネットワークの一種である。 ボルツマンマシンは、統計的な変動を用いたホップフィールド・ネットワークの一種と見なすことができる。これらはニューラル ネットワークの内部についてを学ぶことができる最初のニューラル ネットワークの 一つで、（十分な時間を与えられれば） 難しい組合せに関する問題を解くことができる。ただしボルツマン・マシンには後述される事柄を含む数々の問題があり
行列をつかった記憶のシミュレーション
この内容は拙著『進化しすぎた脳』の巻末に「付論」として掲載されたもので、 脳科学講義として中学生・高校生たちに説明したときの録音テープから起こした文章です。 （朝日出版社の許可を得てここに掲載しております） この課外時間では、数学を使っただけで簡単に「記憶」のモデルができるという話をしよう。 この講義で習った知識を使っただけで簡単な脳のモデルができるんだ。神経細胞がたった３個からなる模型。ほんとの脳ははるかに複雑だけど、ここでは単純化したネットワークを考えてみよう。 まず、モデルの話をする前に、ちょっと基礎練習をしてみよう。いま、この図のように、２つの神経が結合している。 こんな感じで神経１は神経２とシナプスを作っている。丸が神経で、矢印がシナプスの記号。この場合は神経１が送信側で、神経２が受信側だ。つまり信号は神経１から２へ行く。 この図で重要なのは何かというと、２つの神経が結びつく強さ
Connectionist Temporal Classification (CTC) with Theano
Connectionist Temporal Classification (CTC) with Theano This will be the first time I’m trying to present code I’ve written in an ipython notebook. The style’s different, but I think I’ll permanently switch to this method of presentation for code-intensive posts from now on. A nifty little tool that makes doing this so convenient is ipy2wp. It uses WordPress’ xml-rpc to post the HTML directly to t
TensorFlow Playgroundはニューラルネットを理解するのにおススメ - 西尾泰和のはてなダイアリー
ネットワークの重みや各ニューロンがどういう入力の時に発火するのかが、学習していく過程で各時刻可視化されてとても良い教材です。 http://playground.tensorflow.org/ うずまきのデータセットに関して「中間層が1層しかないとうずまき（線形非分離な問題）は解けない」という誤解があるようなので、まずは1層でできるという絵を紹介。なお僕のタイムライン上では id:a2c が僕より先に気付いていたことを名誉のために言及しておきます。 で、じゃあよく言われる「線形非分離な問題が解けない」ってのはどういうことか。それはこんな問題設定。入力に適当な係数を掛けて足し合わせただけでは適切な境界を作ることができません。 こういうケースでは中間層を追加すると、中間層が入力の非線形な組み合わせを担当してくれるおかげで解けなかった問題が解けるようになります。 1つ目のデータセットでは特徴量の
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Improving neural networks by preventing co adaptation of feature detectors
今日からできる構造学習(主に構造化パーセプトロンについて)
学習とニューラルネットワーク (電子情報通信工学シリーズ)
ニューラルネットワーク情報処理―コネクショニズム入門、あるいは柔らかな記号に向けて
Supervised Sequence Labelling with Recurrent Neural Networks.pdf
Neural Network Architectures
脳の科学 第 10 回 ニューラルネットワーク
A Neural Network Playground
https://qiita.com/conjugate_box/items/a5efcbe7d9be977367b8