パーセプトロンの収束性定理と学習率について - シリコンの谷のゾンビ
昨日公開したパーセプトロンのデモに対して「パーセプトロンに学習率って必要だっけ?」というコメントを頂いた．結論から言えば「収束性の保証には要らない．ただし，適当な値に設定すると経験的には収束が速くなる．」という回答になる *1． パーセプトロンの収束性定理では学習率は正の値であれば収束することが保証されている．1でよいので学習率は省略可能．ということを言いたのだけれど，そういえばパーセプトロンの収束性定理を自分で証明したことがなかったので赤本[1]引っ張り出して式を追いかけてみた．どうやらバイアス項がある場合とない場合で，収束に要する試行回数の上界が4倍も変わるみたい*2． 赤本の訳者が脚注に丁寧に導出の過程をフォローしてくれているので，pp.17-20あたりを読めばわかると思う．せっかくなのでバイアス項なしの場合について自分の言葉でノートにまとめてみた． Perceptron の収束性定
JavaScriptによるパーセプトロン/Passive-Aggressive体験デモ - シリコンの谷のゾンビ
前回k-NNデモを作った後に「これパーセプトロンも同じようにデモ作れるんじゃね?」と思ったので実装してみた．今度はクリックでデータ点を追加できるようにしたり，サンプル選択方法を可変にしたり，PAの更新の様子を可視化すると面白いかもと思って後からPAも追加してみた． パーセプトロンは誤分類するサンプルを正しく分類するように超平面を更新する線形識別器で，Passive-Aggressive (PA) は損失を発生させるサンプルに対して損失が0になり，重みベクトルの変化量が最小になるように超平面を更新するアルゴリズム． オンライン学習についてざっくりした俯瞰は以下の資料などをご参照． TokyoNLP#5で「パーセプトロンで楽しい仲間がぽぽぽぽ〜ん」を発表しました というわけでk-NNと同じように公開． Perceptron/PA Demo ver.1.0 使い方 Update onceボタンで
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
perceptron
