3層ニューラルネットワークの普遍性定理のはなし。関数解析の基本的な定理から、こんな面白いことが証明できる。数学楽しいよ! https://t.co/jBFto4WBLa
この記事を読みニューラルネットワークに興味を持ち勉強を始めました。 ニューラルネットワークを目で見て直感的に理解できるのは素晴らしいですね。 半年以上も前の記事なのでコメントを読まれているか分かりませんが、お聞きしたいことがあります。 TensorFlow Playgroundの入力層のFeatureについて勉強をしているのですが、なぜ生の入力値(座標x,y)ではなく、Featureを間にかませているかその背景を教えていただきたいです。 というのも、MNISTのチュートリアル等では縦横28x28ピクセルの784個のアドレスのグレースケールの値を入力とし、入力層に784個のニューロンを並べている解説が 多く、TensorFlow Playgroundで行われているようなFeatureの選択がどこから出てきたものなのか分からないのです。 ちょっと宣伝のようになってしまいますが、自分の学習成果の
(訳注:2016/6/28、記事を修正いたしました。) 本記事は、もう随分と前から投稿したいと思っていた強化学習(RL)に関するものです。RLは盛り上がっています。皆さんも既にご存知のこととは思いますが、今やコンピュータは ATARI製ゲームのプレイ方法を自分で学習する ことができ(それも生のゲーム画像のピクセルから!)、 囲碁 の世界チャンピオンにも勝つことができます。シミュレーションの四肢動物は 走って飛び跳ねる ことを学習しますし、ロボットは明示的にプログラミングするのが難しいような 複雑な操作のタスク でも、その実行方法を学習してしまいます。こうした進歩はいずれも、RL研究が基となって実現しています。私自身も、ここ1年ほどでRLに興味を持つようになりました。これまで、 Richard Suttonの著書 で勉強し、 David Silverのコース を通読、 John Schulm
2. 自己紹介 • id:syou6162 • ブックマークのエンジニア • 前職は自然言語処理や機械学習の研究 – 4年間ひたすらclojureを書いていた • アイコンは卓球のラケット – 8年くらいやっていました 3. 今日の目標 => 構造化パーセプトロン でできることを広げよう! • 機械学習のライブラリが充実。参入のハードル は低下 – ただし、それは解きたい問題が単純な場合が多い – ただの分類問題 • 単純な分類問題だけでは解けない問題も多い • 構造学習が扱えると、やれることがぐっと増える • 構造学習を簡単に扱える方法を紹介 • 簡単なサンプルも書いてみた(品詞タグ付け) – h8p://;nyurl.com/struct-perceptron
統計力学は, 気体の分子の運動のようなミクロ記述とボイル=シャルルの法則のようなマクロ記述とをつなぐ学問です. 統計力学を学ぶと, 我々はミクロからマクロへつながる階層的な構造が自然界のいたるところに存在することを意識し, 物理学の枠組みを超えて統計力学が活躍できるような気がしてきます. 例えば, 脳や情報にもミクロとマクロの階層性が存在します. 脳にある百億以上の神経細胞の活動から, 我々の意識や感情が生じています. 0 と 1 のビットがある種のルールに従って並ぶと, そのビット系列は画像や音声などの意味ある情報になります. これらを統計力学的に議論できる鍵はスピングラス・レプリカ法に代表されるランダムスピン系の統計力学にありました. ± 1 の二値状態を取る Ising スピンを脳の神経細胞の活動や情報のビットに対応させることで, 統計力学は脳の神経回路モデルや情報・通信理論の難問を
今日、英語版Wikipediaの「制限ボルツマンマシン」のページの翻訳を終えました。終えましたけれども、内容はよく理解出来ていません。それでも得るところはありました。ひとつは自分のボルツマンマシンの理解がかなり表面的であったことを自覚したことです。私はボルツマンマシンの元になったホップフィールド・ネットワークを勉強していた時、ホップフィールド・ネットワークのエネルギーの定義がいかにも取ってつけたような感じがして、これは別段エネルギーと見なす必要はなくてたとえばエントロピーと見なしてもいいではないか、などと思っていました。しかし、英語版Wikipediaの制限ボルツマンマシンのページに登場した の式を見た時に、おお、まさしく統計力学の式だ、と感じました。この式に出てくるは統計力学であればエネルギーが出てくる位置にあります。なぜ、こんなにうまくいくのだろう? なぜ、統計力学との平行関係がこんな
ボルツマンのグラフの一例。 各エッジ(線)は接続されたユニット同士の依存を意味する。この例では3つの不可視ユニット(hidden; 青)と4つの可視ユニット(visible; 白)がある。 ちなみにこの例は制約を持つボルツマンマシンではない。 ボルツマン・マシン(英: Boltzmann machine)は、1985年にジェフリー・ヒントンとテリー・セジュノスキー(英語版)によって開発された確率的(英語版)回帰結合型ニューラルネットワークの一種である。 ボルツマンマシンは、統計的な変動を用いたホップフィールド・ネットワークの一種と見なすことができる。これらはニューラル ネットワークの内部についてを学ぶことができる最初のニューラル ネットワークの 一つで、(十分な時間を与えられれば) 難しい組合せに関する問題を解くことができる。ただしボルツマン・マシンには後述される事柄を含む数々の問題があり
この内容は拙著『進化しすぎた脳』の巻末に「付論」として掲載されたもので、 脳科学講義として中学生・高校生たちに説明したときの録音テープから起こした文章です。 (朝日出版社の許可を得てここに掲載しております) この課外時間では、数学を使っただけで簡単に「記憶」のモデルができるという話をしよう。 この講義で習った知識を使っただけで簡単な脳のモデルができるんだ。神経細胞がたった3個からなる模型。ほんとの脳ははるかに複雑だけど、ここでは単純化したネットワークを考えてみよう。 まず、モデルの話をする前に、ちょっと基礎練習をしてみよう。いま、この図のように、2つの神経が結合している。 こんな感じで神経1は神経2とシナプスを作っている。丸が神経で、矢印がシナプスの記号。この場合は神経1が送信側で、神経2が受信側だ。つまり信号は神経1から2へ行く。 この図で重要なのは何かというと、2つの神経が結びつく強さ
Connectionist Temporal Classification (CTC) with Theano This will be the first time I’m trying to present code I’ve written in an ipython notebook. The style’s different, but I think I’ll permanently switch to this method of presentation for code-intensive posts from now on. A nifty little tool that makes doing this so convenient is ipy2wp. It uses WordPress’ xml-rpc to post the HTML directly to t
ネットワークの重みや各ニューロンがどういう入力の時に発火するのかが、学習していく過程で各時刻可視化されてとても良い教材です。 http://playground.tensorflow.org/ うずまきのデータセットに関して「中間層が1層しかないとうずまき(線形非分離な問題)は解けない」という誤解があるようなので、まずは1層でできるという絵を紹介。なお僕のタイムライン上では id:a2c が僕より先に気付いていたことを名誉のために言及しておきます。 で、じゃあよく言われる「線形非分離な問題が解けない」ってのはどういうことか。それはこんな問題設定。入力に適当な係数を掛けて足し合わせただけでは適切な境界を作ることができません。 こういうケースでは中間層を追加すると、中間層が入力の非線形な組み合わせを担当してくれるおかげで解けなかった問題が解けるようになります。 1つ目のデータセットでは特徴量の
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く